Statistiken und Big Data

Ich nehme an Andrew Ngs Kurs über maschinelles Lernen durch Coursera teil . Für Gleichungen werden hochgestellte Zeichen anstelle von tiefgestellten Zeichen verwendet. Beispielsweise wird in der folgenden Gleichung anstelle von : x ix( i )x(i)x^{(i)}xichxichx_i J( θ0, θ1) = 12 m∑i = 1m( hθ( x( i )) - y( …

20 machine-learning  notation 

Es war ein kleiner Schock für mich, als ich zum ersten Mal eine Monte-Carlo-Normalverteilungssimulation durchführte und feststellte, dass der Mittelwert von 100100100 Standardabweichungen von 100100100 Stichproben, die alle nur eine Stichprobengröße von n=2n=2n=2 , viel geringer war als, dh Mittelung 2π−−√2π \sqrt{\frac{2}{\pi }} mal dasσσ\sigmadas zur Erzeugung der Grundgesamtheit verwendet …

20 normal-distribution  standard-deviation  expected-value  unbiased-estimator  umvue 

Ich verstehe nicht genau, was mit Knotengröße gemeint ist. Ich weiß, was ein Entscheidungsknoten ist, aber nicht, wie groß er ist.

20 machine-learning  random-forest  bagging 

Ich habe von dort gelesen, dass der Standardfehler der Stichprobenvarianz ist SEs2= 2 σ4N- 1------√SEs2=2σ4N-1SE_{s^2} = \sqrt{\frac{2 \sigma^4}{N-1}} Was ist der Standardfehler der Probenstandardabweichung? Ich wäre versucht zu raten und zu sagen, dass aber ich bin nicht sicher.SEs= SEs2----√SEs=SEs2SE_{s} = \sqrt{SE_{s^2}}

20 sampling  standard-deviation  standard-error 

Ich habe zwei Wahrscheinlichkeitsdichtefunktionen von Normalverteilungen: f1(x1|μ1,σ1)=1σ12π−−√e−(x−μ1)22σ21f1(x1|μ1,σ1)=1σ12πe−(x−μ1)22σ12f_1(x_1 \; | \; \mu_1, \sigma_1) = \frac{1}{\sigma_1\sqrt{2\pi} } \; e^{ -\frac{(x-\mu_1)^2}{2\sigma_1^2} } und f2(x2|μ2,σ2)=1σ22π−−√e−(x−μ2)22σ22f2(x2|μ2,σ2)=1σ22πe−(x−μ2)22σ22f_2(x_2 \; | \; \mu_2, \sigma_2) = \frac{1}{\sigma_2\sqrt{2\pi} } \; e^{ -\frac{(x-\mu_2)^2}{2\sigma_2^2} } Ich suche nach der Wahrscheinlichkeitsdichtefunktion der Trennung zwischen und x 2 . Ich denke, das heißt, ich …

20 distributions  normal-distribution  distance 

Steins Paradoxon zeigt, dass bei gleichzeitiger Schätzung von drei oder mehr Parametern kombinierte Schätzer existieren, die im Durchschnitt genauer sind (dh einen geringeren erwarteten mittleren quadratischen Fehler aufweisen) als jede Methode, die die Parameter separat behandelt. Dies ist ein sehr eingängiges Ergebnis. Gilt das gleiche Ergebnis, wenn anstelle der Norm …

20 paradox  steins-phenomenon 

Ich habe eine Frage zum Erfordernis, Merkmalsauswahlmethoden (Wichtigkeitswert für zufällige Gesamtstrukturen oder Auswahlmethoden für univariate Merkmale usw.) zu verwenden, bevor ein statistischer Lernalgorithmus ausgeführt wird. Wir wissen, dass wir Regularisierungsstrafen für die Gewichtsvektoren einführen können, um eine Überanpassung zu vermeiden. Wenn ich also eine lineare Regression durchführen möchte, könnte ich …

20 regression  machine-learning  feature-selection  lasso  regularization 

Ich habe viele Tutorial-Videos gesehen und sie sehen gleich aus. Dieses Beispiel: https://www.youtube.com/watch?v=ip4iSMRW5X4 Sie erklären Zustände, Handlungen und Wahrscheinlichkeiten, die in Ordnung sind. Die Person erklärt es ok, aber ich kann einfach nicht in den Griff bekommen, wofür es im wirklichen Leben verwendet werden würde. Bisher habe ich noch keine …

20 markov-process 

In der ökologischen Statistik gibt es viele Techniken zur explorativen Datenanalyse mehrdimensionaler Daten. Dies nennt man "Ordinations" -Techniken. Viele sind die gleichen oder eng mit gängigen Techniken in anderen Bereichen der Statistik verwandt. Vielleicht wäre das prototypische Beispiel die Hauptkomponentenanalyse (PCA). Ökologen könnten PCA und verwandte Techniken verwenden, um „Farbverläufe“ …

20 pca  eda  ecology  correspondence-analysis 

Siehe diese Frage auf Math SE . Kurzgeschichte: Ich habe die Elemente des statistischen Lernens gelesen und war frustriert, als ich versuchte, einige der Ergebnisse zu überprüfen, z. B. RSS(β)=(y−Xβ)T(y−Xβ),RSS(β)=(y−Xβ)T(y−Xβ),\text{RSS}(\beta) = \left(\mathbf{y}-\mathbf{X}\beta\right)^{T}\left(\mathbf{y}-\mathbf{X}\beta\right)\text{,} dann ∂RSS∂β=−2XT(y−Xβ)∂2RSS∂β ∂βT=2XTX.∂RSS∂β=−2XT(y−Xβ)∂2RSS∂β ∂βT=2XTX.\begin{align}&\dfrac{\partial\text{RSS}}{\partial \beta} = -2\mathbf{X}^{T}\left(\mathbf{y}-\mathbf{X}\beta\right) \\ &\dfrac{\partial^2\text{RSS}}{\partial \beta\text{ }\partial \beta^{T}} = 2\mathbf{X}^{T}\mathbf{X}\text{.} \end{align} Ich suche ein …

20 references  matrix  matrix-calculus 

Ich habe ein neuronales Netzwerk eingerichtet, um etwas vorherzusagen, bei dem die Ausgabevariable ordinal ist. Ich werde im Folgenden drei mögliche Ausgänge A <B <C beschreiben. Es ist ziemlich offensichtlich, wie ein neuronales Netzwerk zur Ausgabe kategorialer Daten verwendet wird: Die Ausgabe ist nur ein Softmax der letzten (normalerweise vollständig …

20 neural-networks  ordinal-data  softmax 

Ich weiß, dass das Optimieren von Hyperparametern außerhalb der Kreuzvalidierung zu verzerrt hohen Schätzungen der externen Validität führen kann, da der Datensatz, mit dem Sie die Leistung messen, derselbe ist, den Sie zum Optimieren der Features verwendet haben. Ich frage mich, wie schlimm dieses Problem ist . Ich kann verstehen, …

20 cross-validation  validation  hyperparameter 

Warum setzen wir in "Methode der Momente" Stichprobenmomente mit Bevölkerungsmomenten gleich, um den Punktschätzer zu finden? Wo steckt die Logik dahinter?

20 intuition  method-of-moments 

Ich war beeindruckt von den Ergebnissen des ICML-Papiers 2014 " Distributed Representations of Sentences and Documents " von Le und Mikolov. Die beschriebene Technik, "Absatzvektoren" genannt, lernt unbeaufsichtigte Darstellungen von beliebig langen Absätzen / Dokumenten, basierend auf einer Erweiterung des word2vec-Modells. Der Aufsatz berichtet über die neuesten Erkenntnisse zur Stimmungsanalyse …

20 text-mining  natural-language  word-embeddings  sentiment-analysis  reproducible-research 

Ich verstehe, dass der Unterschied zwischen ihnen damit zusammenhängt, ob die Gruppierungsvariable im Modell als fester oder zufälliger Effekt geschätzt wird, aber mir ist nicht klar, warum sie nicht gleich sind (wenn sie nicht gleich sind). Ich bin speziell daran interessiert, wie dies bei der Verwendung der Schätzung kleiner Flächen …

20 mixed-model  blue  blup  small-area-estimation