Statistiken und Big Data

Fragen und Antworten für Personen, die sich für Statistik, maschinelles Lernen, Datenanalyse, Data Mining und Datenvisualisierung interessieren

1
Wie kann man auf Prüfer antworten, die nach p-Werten im Bayes'schen Mehrebenenmodell fragen?
Wir wurden von einem Gutachter gebeten, p-Werte anzugeben, um die Modellschätzungen in unserem Bayes'schen Mehrebenenmodell besser zu verstehen. Das Modell ist ein typisches Modell für mehrere Beobachtungen pro Teilnehmer an einem Experiment. Wir haben das Modell mit Stan geschätzt, damit wir problemlos zusätzliche hintere Statistiken erstellen können. Derzeit melden wir …
2
Wiederholte Messungen ANOVA: Wie lautet die Normalitätsannahme?
Ich bin verwirrt über die Normalitätsannahme bei ANOVA mit wiederholten Messungen. Insbesondere frage ich mich, welche Art von Normalität genau erfüllt sein sollte. Beim Lesen der Literatur und der Antworten zum Lebenslauf bin ich auf drei unterschiedliche Formulierungen dieser Annahme gestoßen. Die abhängige Variable innerhalb jeder (wiederholten) Bedingung sollte normal …
1
Verwendet Breimans zufälliger Wald Informationsgewinn oder Gini-Index?
Ich würde gerne wissen, ob Breimans zufälliger Wald (zufälliger Wald in R randomForest-Paket) als Aufteilungskriterium (Kriterium für die Attributauswahl) Informationsgewinn oder Gini-Index verwendet. Ich habe versucht, es auf http://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm und in der Dokumentation für das randomForest-Paket in R herauszufinden. Aber das einzige, was ich gefunden habe, ist, dass der Gini-Index …
2
Frage zum Bias-Varianz-Kompromiss
Ich versuche den Bias-Varianz-Kompromiss, die Beziehung zwischen dem Bias des Schätzers und dem Bias des Modells und die Beziehung zwischen der Varianz des Schätzers und der Varianz des Modells zu verstehen. Ich bin zu folgenden Schlussfolgerungen gekommen: Wir neigen dazu, die Daten zu überdecken, wenn wir die Abweichung des Schätzers …
2
Was bedeutet PAC-Lerntheorie?
Ich bin neu im maschinellen Lernen. Ich studiere einen Kurs in maschinellem Lernen (Stanford University) und habe nicht verstanden, was mit dieser Theorie gemeint ist und welchen Nutzen sie hat. Ich frage mich, ob jemand diese Theorie für mich detaillieren könnte. Diese Theorie basiert auf dieser Gleichung.
1
Erläuterung der Implementierung von Perceptron-Regel vs. Gradient Descent vs. Stochastic Gradient Descent
Ich habe ein wenig mit verschiedenen Perceptron-Implementierungen experimentiert und möchte sicherstellen, dass ich die "Iterationen" richtig verstehe. Rosenblatts ursprüngliche Perzeptronregel Soweit ich weiß, werden bei Rosenblatts klassischem Perzeptron-Algorithmus die Gewichte nach jedem Trainingsbeispiel gleichzeitig über aktualisiert Δw(t+1)=Δw(t)+η(target−actual)xiΔw(t+1)=Δw(t)+η(target−actual)xi\Delta{w}^{(t+1)} = \Delta{w}^{(t)} + \eta(target - actual)x_i wo hier die ist. Und sowohl Ziel …
2
Erstellen eines einzelnen Index aus mehreren Hauptkomponenten oder Faktoren, die von PCA / FA beibehalten wurden
Ich verwende die Hauptkomponentenanalyse (Principal Component Analysis, PCA), um einen Index zu erstellen, der für meine Forschung erforderlich ist. Meine Frage ist, wie ich einen einzelnen Index erstellen soll, indem ich die über PCA berechneten beibehaltenen Hauptkomponenten verwende. Zum Beispiel habe ich beschlossen, 3 Hauptkomponenten nach der Verwendung von PCA …
2
Mediane absolute Abweichung (MAD) und SD verschiedener Verteilungen
Für normalverteilte Daten werden die Standardabweichung und die mittlere absolute Abweichung in Beziehung gesetzt durch:σσ\sigmaMADMAD\text{MAD} σ=Φ−1(3/4)⋅MAD≈1.4826⋅MAD,σ=Φ−1(3/4)⋅MAD≈1.4826⋅MAD,\sigma=\Phi^{-1}(3/4)\cdot \text{MAD}\approx1.4826\cdot\text{MAD}, Dabei ist die kumulative Verteilungsfunktion für die Standardnormalverteilung.Φ()Φ()\Phi() Gibt es eine ähnliche Beziehung für andere Distributionen?
2
Was ist die häufigste Einstellung zur Voltmeter-Geschichte?
Was ist die häufigste Meinung zu der Voltmeter-Geschichte und ihren Variationen? Die Idee dahinter ist, dass eine statistische Analyse, die sich auf hypothetische Ereignisse bezieht, überarbeitet werden muss, wenn später festgestellt wird, dass diese hypothetischen Ereignisse nicht wie angenommen hätten stattfinden können. Die Version der Geschichte auf Wikipedia ist unten …
2
"Blindvariable" versus "Indikatorvariable" für nominale / kategoriale Daten
"Dummy-Variable" und "Indikatorvariable" sind häufig verwendete Bezeichnungen zur Beschreibung der Zugehörigkeit zu einer Kategorie mit 0/1 Kodierung. in der Regel 0: kein Mitglied der Kategorie, 1: Mitglied der Kategorie. Am 26.11.2014 ergab eine schnelle Suche auf scholar.google.com (mit Anführungszeichen), dass in ungefähr 318.000 Artikeln "Dummy-Variable" und in ungefähr 112.000 Artikeln …
1
Vorteile von Box-Muller gegenüber der inversen CDF-Methode zur Simulation der Normalverteilung?
Um eine Normalverteilung aus einer Reihe einheitlicher Variablen zu simulieren, gibt es verschiedene Techniken: Der Box-Muller-Algorithmus , bei dem zwei unabhängige Uniformvariablen abgetastet werden, variiert auf und transformiert sie in zwei unabhängige Standardnormalverteilungen über: Z 0 = √(0,1)(0,1)(0,1)Z0=−2lnU1−−−−−−√cos(2πU0)Z1=−2lnU1−−−−−−√sin(2πU0)Z0=−2lnU1cos(2πU0)Z1=−2lnU1sin(2πU0) Z_0 = \sqrt{-2\text{ln}U_1}\text{cos}(2\pi U_0)\\ Z_1 = \sqrt{-2\text{ln}U_1}\text{sin}(2\pi U_0) die CDF-Methode , bei …
1
2SLS aber zweite Stufe Probit
Ich versuche, mithilfe der Analyse instrumenteller Variablen auf die Kausalität von Beobachtungsdaten zu schließen. Ich bin auf eine zweistufige Regression der kleinsten Fehlerquadrate (2SLS) gestoßen, die wahrscheinlich das Endogenitätsproblem in meiner Forschung angeht. Ich möchte jedoch erstens OLS und zweitens Probit im 2SLS sein. Aufgrund meiner Lektüre und Suche habe …
6
Was ist das Problem bei Post-Hoc-Tests?
Mein Statistikprofessor sagt es so, alle Bücher, die ich mir anschaue, sagen es aus: Post-hoc-Tests sind unwissenschaftlich. Sie müssen zuerst eine Hypothese aus der Theorie ableiten und dann Daten sammeln und analysieren. Aber ich verstehe das Problem wirklich nicht. Angenommen, ich sehe Verkaufszahlen für verschiedene Autofarben und gehe davon aus, …
15 post-hoc 
3
Wie wird beim Kneser-Ney-Glätten mit unsichtbaren Wörtern umgegangen?
Nach allem, was ich gesehen habe, ist die Kneser-Ney-Glättungsformel (zweiter Ordnung) auf die eine oder andere Weise gegeben als P2KN(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn)PKN2(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn) \begin{align} P^2_{KN}(w_n|w_{n-1}) &= \frac{\max \left\{ C\left(w_{n-1}, w_n\right) - D, 0\right\}}{\sum_{w'} C\left(w_{n-1}, w'\right)} + \lambda(w_{n-1}) \times P_{cont}(w_n) \end{align} mit dem normalisierenden Faktor alsλ(wn−1)λ(wn−1)\lambda(w_{n-1}) λ ( wn - 1)= D∑w′C( wn - …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.