Statistiken und Big Data

Fragen und Antworten für Personen, die sich für Statistik, maschinelles Lernen, Datenanalyse, Data Mining und Datenvisualisierung interessieren

2
Wie ist ?
Ich habe kürzlich angefangen, über Maximum Likelihood Estimator und Bayes'sche Statistiken zu lesen. Ich verstehe, dass bei einem statistischen Modell , bei dem zu einem großen Parameterraum , die KL-Divergenz zwischen und ( die Wahrheit ist) Der Parameter, den wir finden möchten) wird für das minimiert, das maximiert . Unter …
1
Gemischte Modelle: Wie lassen sich Hendersons Gleichungen mit gemischten Modellen ableiten?
Im Kontext der besten linearen unverzerrten Prädiktoren (BLUP) spezifizierte Henderson die Gleichungen mit gemischten Modellen (siehe Henderson (1950): Estimation of Genetic Parameters. Annals of Mathematical Statistics, 21, 309-310). Nehmen wir das folgende Modell mit gemischten Effekten an: y=Xβ+Zu+ey=Xβ+Zu+ey = X\beta+Zu+e wobei ein Vektor von n beobachtbaren Zufallsvariablen ist, ein Vektor …
2
Quantilregression als lineares Programmierproblem formulieren?
Wie formuliere ich die Quantilregression als lineares Programmierproblem? Wenn ich mir das mittlere Quantilproblem anschaue, weiß ich, dass es das ist minimize transforms into minimize s.t.∑i=1n|β0+Xiβ1−Yi|∑i=1neiei≥β0+Xiβ1−Yiei≥−(β0+Xiβ1−Yi)minimize ∑i=1n|β0+Xiβ1−Yi|transforms into minimize ∑i=1neis.t.ei≥β0+Xiβ1−Yiei≥−(β0+Xiβ1−Yi)\begin{align} \text{minimize } & \sum_{i=1}^n |\beta_0 + X_i \beta_1-Y_i|\\ \text{transforms into } & \\ \text{minimize } & \sum_{i=1}^n e_i\\ \text{s.t.} & …
3
Regression und Kausalität in der Ökonometrie
In der Regression im Allgemeinen und in der linearen Regression im Besonderen ist manchmal eine kausale Interpretation von Parametern zulässig. Zumindest in der ökonometrischen Literatur, aber nicht nur, wenn eine kausale Interpretation erlaubt ist, ist dies nicht so klar; Für eine Diskussion können Sie sehen: Regression und Verursachung: Eine kritische …
4
Überprüfen Sie, ob eine Zeichenfolge nicht zufällig ist
Hintergrund Nehmen wir an, wir haben ein Alphabet von A,B, C, D, dann schauen wir uns einige Daten an und finden ein "Wort", bei dem DDDDDDDDCDDDDDDdie Wahrscheinlichkeit, diesen Zufall zu finden, für mich gering erscheint, während das Finden BABDCABCDACDBACDweniger zufällig erscheint. Frage Wie soll ich überprüfen, ob die Zeichenfolgen, auf …
1
Sparse lineare Regression 0-Norm und 1-Norm
Wir haben eine Antwort Y∈RnY∈RnY \in \Bbb R^n und Prädiktoren X=(x1,x2,⋯,xm)T∈Rn×mX=(x1,x2,⋯,xm)T∈Rn×mX = (x_1, x_2, \cdots, x_m)^T \in \Bbb R^{n \times m} Das Problem, das wir lösen wollen, ist argmink∈Rm(∥Y−Xk∥22+λ∥k∥0)→k0argmink∈Rm(‖Y−Xk‖22+λ‖k‖0)→k0\text{argmin}_{k \in \Bbb R^{m}} (\Vert Y - Xk \Vert_2^2 + \lambda \Vert k \Vert_0) \rightarrow k_0 Es ist jedoch NP-schwer, also lösen …
1
Höhere Überanpassung durch Datenerweiterung mit Rauschen?
Ich trainiere ein neuronales Netzwerk für die Audioklassifizierung. Ich habe es auf dem UrbanSound8K-Datensatz (Modell 1) trainiert und wollte dann bewerten, wie unterschiedliche Pegel des zusätzlichen Rauschens zu den Eingaben die Vorhersagegenauigkeit beeinflussen. Basisgenauigkeit Modell1 = 65% Wie erwartet führten höhere Geräuschpegel zu einer geringeren Genauigkeit. Dann entschied ich mich …
1
Eine einfache Erklärung des PACF-Diagramms
Ich präsentiere Kollegen einige ACF- und PACF-Pläne. Ich kann erklären, wie die Diagramme zu interpretieren sind und wie p und q basierend auf dem Aussehen der Diagramme zu bestimmen sind, aber ich kann keine einfache intuitive Erklärung dafür finden, was ein PACF-Diagramm tatsächlich bedeutet. Ich habe die Erklärung hier gelesen, …
2
Warum LSTM beim Informations-Latching schlechter abschneidet als das Vanilla-Netzwerk für wiederkehrende Neuronen
Ich möchte besser verstehen, warum sich LSTM über einen längeren Zeitraum an Informationen erinnern kann als Vanille / einfaches wiederkehrendes neuronales Netzwerk (SRNN), indem ich ein Experiment aus dem Artikel Lernen von Langzeitabhängigkeiten mit Gradientenabstieg von Bengio et al. 1994 . Siehe Abb. 1. und 2 auf diesem Papier. Die …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.