Statistiken und Big Data

Fragen und Antworten für Personen, die sich für Statistik, maschinelles Lernen, Datenanalyse, Data Mining und Datenvisualisierung interessieren




3
Testen zufällig generierter Daten anhand der beabsichtigten Verteilung
Ich habe ein Programm geschrieben, das zufällige Daten erzeugt. Wenn das Programm ordnungsgemäß funktioniert, sollten diese Daten einer bestimmten, bekannten Wahrscheinlichkeitsverteilung folgen. Ich möchte das Programm ausführen, einige Berechnungen für das Ergebnis durchführen und einen p-Wert ausarbeiten. Bevor es jemand anders sagt: Ich verstehe, dass das Testen von Hypothesen nicht …


1
Warum ist in Gelmans Schulbeispiel 8 der Standardfehler der angenommenen Einzelschätzung bekannt?
Kontext: In Gelmans 8-schuligem Beispiel (Bayesian Data Analysis, 3. Ausgabe, Kapitel 5.5) gibt es acht parallele Experimente in acht Schulen, in denen die Wirkung von Coaching getestet wird. Jedes Experiment liefert einen Schätzwert für die Wirksamkeit des Coachings und den damit verbundenen Standardfehler. Die Autoren erstellen dann ein hierarchisches Modell …

1
Stepwise AIC - Gibt es Kontroversen zu diesem Thema?
Ich habe unzählige Beiträge auf dieser Site gelesen, die unglaublich gegen die schrittweise Auswahl von Variablen mit beliebigen Kriterien wie p-Werten, AIC, BIC usw. sind. Ich verstehe, warum diese Verfahren im Allgemeinen ziemlich schlecht für die Auswahl von Variablen sind. Gungs wahrscheinlich berühmter Post hier zeigt deutlich, warum; Letztendlich überprüfen …


3
Was ist der Unterschied zwischen einem „statistischen Experiment“ und einem „statistischen Modell“?
Ich verfolge AW van der Vaart, asymptotische Statistik (1998). Er spricht von statistischen Experimenten und behauptet, dass sie sich von einem statistischen Modell unterscheiden, definiert aber keines von beiden. Meine Frage: Was ist (1) ein statistisches Experiment, (2) ein statistisches Modell und (3) was ist der Hauptbestandteil, der das statistische …

3
Wie ist es möglich, ein gutes lineares Regressionsmodell zu erhalten, wenn keine wesentliche Korrelation zwischen der Ausgabe und den Prädiktoren besteht?
Ich habe ein lineares Regressionsmodell unter Verwendung einer Reihe von Variablen / Merkmalen trainiert. Und das Modell hat eine gute Leistung. Ich habe jedoch festgestellt, dass es keine Variable gibt, die mit der vorhergesagten Variablen gut korreliert. Wie ist es möglich?

2
LASSO und Grat aus der Bayes'schen Perspektive: Was ist mit den Stimmparametern?
Bestrafte Regressionsschätzer wie LASSO und Ridge sollen Bayes'schen Schätzern mit bestimmten Prioritäten entsprechen. Ich vermute (da ich nicht genug über Bayes'sche Statistiken weiß), dass für einen festen Abstimmungsparameter ein konkreter entsprechender Prior existiert. Nun würde ein Frequentist den Abstimmungsparameter durch Kreuzvalidierung optimieren. Gibt es ein bayesianisches Äquivalent dazu und wird …

3
Warum nicht die „normalen Gleichungen“ verwenden, um einfache Koeffizienten kleinster Quadrate zu finden?
Ich habe diese Liste hier gesehen und konnte nicht glauben, dass es so viele Möglichkeiten gibt, die kleinsten Quadrate zu lösen. Die "normalen Gleichungen" in Wikipedia schienen ein recht einfacher Weg zu sein: α^β^= y¯- β^x¯,= ∑nich= 1( xich- x¯) ( yich- y¯)∑ni = 1( xich- x¯)2α^=y¯-β^x¯,β^=∑ich=1n(xich-x¯)(yich-y¯)∑ich=1n(xich-x¯)2 {\displaystyle {\begin{aligned}{\hat {\alpha …


1
Wann ergeben die maximale Wahrscheinlichkeit und die Methode der Momente die gleichen Schätzer?
Neulich wurde mir diese Frage gestellt und ich hatte sie noch nie in Betracht gezogen. Meine Intuition kommt von den Vorteilen jedes Schätzers. Die größte Wahrscheinlichkeit besteht darin, dass wir uns auf den Prozess der Datengenerierung verlassen können, da im Gegensatz zur Methode der Momente das Wissen über die gesamte …

1
Gibt es eine Bayes'sche Interpretation der linearen Regression mit simultaner L1- und L2-Regularisierung (auch bekannt als elastisches Netz)?
Es ist allgemein bekannt, dass eine lineare Regression mit einer 1 Strafe gleichbedeutend ist mit dem Finden der MAP-Schätzung, wenn ein Gaußscher Wert vor den Koeffizienten angegeben wird. In ähnlicher Weise ist die Verwendung einer Strafe gleichbedeutend mit der Verwendung einer Laplace-Verteilung wie zuvor.l 1l2l2l^2l1l1l^1 Es ist nicht ungewöhnlich, eine …

Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.