Statistiken und Big Data

Fragen und Antworten für Personen, die sich für Statistik, maschinelles Lernen, Datenanalyse, Data Mining und Datenvisualisierung interessieren

6
Verwenden wir jemals die Maximum-Likelihood-Schätzung?
Ich frage mich, ob die Maximum-Likelihood-Schätzung jemals in der Statistik verwendet wurde. Wir lernen das Konzept, aber ich frage mich, wann es tatsächlich verwendet wird. Wenn wir die Verteilung der Daten annehmen, finden wir zwei Parameter, einen für den Mittelwert und einen für die Varianz, aber verwenden Sie sie tatsächlich …
2
Warum hat die lineare Regression Annahmen über das Residuum, aber das verallgemeinerte lineare Modell hat Annahmen über die Reaktion?
Warum haben lineare Regression und verallgemeinertes Modell inkonsistente Annahmen? Bei der linearen Regression nehmen wir an, dass der Rest von Gauß stammt Bei einer anderen Regression (logistische Regression, Gift-Regression) gehen wir davon aus, dass die Reaktion von einer gewissen Verteilung ausgeht (Binomial, Poission usw.). Warum nehmen Sie manchmal Rest- und …
2
Gibt es mathematische Gründe für die Faltung in neuronalen Netzen, die nicht mehr angemessen sind?
In neuronalen Faltungsnetzen (CNN) werden die Zeilen und Spalten der Gewichtungsmatrix bei jedem Schritt umgedreht, um die Kernelmatrix zu erhalten, bevor mit der Faltung fortgefahren wird. Dies wird in einer Reihe von Videos von Hugo Larochelle hier erklärt : Berechnung der versteckten Karten entspräche eine diskrete Faltung mit einem Kanal …
7
Verstehe intuitiv, warum die Poisson-Verteilung der Grenzfall der Binomialverteilung ist
In "Data Analysis" von DS Sivia wird die Poisson-Verteilung von der Binomialverteilung abgeleitet. Sie argumentieren, dass die Poisson-Verteilung der Grenzfall der Binomialverteilung ist, wenn , wobei die Anzahl der Versuche ist.M→∞M→∞M\rightarrow\inftyMMM Frage 1: Wie kann dieses Argument intuitiv verstanden werden? Frage 2: Warum ist das große Limit von Gleich , …
2
Bei welchen Modellen fällt die Vorspannung von MLE schneller als die Varianz?
θ^\hat\thetaθ∗\theta^*nn Sie ‖ θ - θ * ‖ ∥θ^−θ∗∥\lVert\hat\theta-\theta^*\rVertO ( 1 / √n )O(1/n−−√)O(1/\sqrt n)‖E θ -θ*‖∥Eθ^−θ∗∥\lVert \mathbb E\hat\theta - \theta^*\rVert‖E θ - θ ‖∥Eθ^−θ^∥\lVert \mathbb E\hat\theta - \hat\theta\rVertO(1/ √n )O(1/n−−√)O(1/\sqrt{n}) Ich interessiere mich für Modelle mit einer Abweichung , die schneller als schrumpft, bei der der Fehler jedoch nicht …
1
Wie wirken sich zufällige Effekte mit nur einer Beobachtung auf ein verallgemeinertes lineares Mischmodell aus?
Ich habe einen Datensatz, in dem die Variable, die ich als Zufallseffekt verwenden möchte, für einige Ebenen nur eine einzige Beobachtung enthält. Aufgrund der Antworten auf vorherige Fragen habe ich festgestellt, dass dies im Prinzip in Ordnung sein kann. Kann ich ein gemischtes Modell mit Motiven kombinieren, bei denen nur …
3
Welche Verteilung folgt der inverse Normal-CDF einer Beta-Zufallsvariablen?
Angenommen, Sie definieren: X∼Beta(α,β)X∼Beta(α,β)X\sim\mbox{Beta}(\alpha,\beta) Y∼Φ−1(X)Y∼Φ−1(X)Y\sim \Phi^{-1}(X) wobei Φ−1Φ−1\Phi^{-1} die Inverse der CDF der Standardnormalverteilung . Meine Frage ist: Gibt es eine einfache Verteilung, der YYY folgt, oder die sich annähern kann YYY? Ich frage, weil ich aufgrund der Simulationsergebnisse (siehe unten) den starken Verdacht habe, dass YYY zu einer Normalverteilung …
3
Warum sich in einem RNN zurück durch die Zeit ausbreiten?
In einem wiederkehrenden neuronalen Netzwerk würden Sie normalerweise die Weiterleitung über mehrere Zeitschritte durchführen, das Netzwerk "ausrollen" und dann die Weiterleitung über die Folge von Eingaben zurückführen. Warum sollten Sie nicht einfach die Gewichte nach jedem einzelnen Schritt in der Sequenz aktualisieren? (Das entspricht einer Trunkierungslänge von 1, es gibt …
1
Gibt es ein Beispiel für (ungefähr) unabhängige Variablen, die von Extremwerten abhängig sind?
Ich suche ein Beispiel für 2 Zufallsvariablen XXX , YYY so dass |cor(X,Y)|≈0|cor(X,Y)|≈0\newcommand{\cor}{{\rm cor}}|\cor(X,Y)| \approx 0 Betrachtet man jedoch den Endteil der Verteilungen, so sind sie stark korreliert. (Ich versuche, "korrelierte" / "Korrelation" für den Schwanz zu vermeiden, da er möglicherweise nicht linear ist). Verwenden Sie dies wahrscheinlich: |cor(X′,Y′)|≫0|cor(X′,Y′)|≫0|\cor(X', Y')| …
2
Palantirs asiatischer Diskriminierungsfall: Wie wurden die Wahrscheinlichkeiten berechnet?
Ich habe diesen Artikel über Palantirs Fall gelesen, in dem die Abteilung für Arbeit sie beschuldigt, Asiaten diskriminiert zu haben. Weiß jemand, woher diese Wahrscheinlichkeitsschätzungen stammen? Ich erhalte nicht 1/741 in Punkt (a). (a) Für die Position als QA-Ingenieur stellte Palantir aus einem Pool von mehr als 730 qualifizierten Bewerbern …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.