Statistiken und Big Data

1

Ausreißer basierend auf dem 2,5-fachen des RMSE fallen lassen

In Kahneman und Deaton (2010) † schreiben die Autoren Folgendes:††^\dagger Diese Regression erklärt 37% der Varianz mit einem quadratischen mittleren Fehler (RMSE) von 0,67852. Um Ausreißer und unplausible Einkommensberichte zu eliminieren, haben wir Beobachtungen fallen gelassen, bei denen der absolute Wert der Differenz zwischen dem Log-Einkommen und seiner Vorhersage das …

13 regression outliers

3

Verwenden Sie die mittlere Länge und das mittlere Gewicht, um den mittleren BMI zu berechnen?

Ist es gültig, die mittlere Länge ( ) und das mittlere Gewicht ( )) einer bestimmten Population zu verwenden, um den mittleren Body-Mass-Index ( ) für diese Population zu berechnen ?hhhwwwBMI=wh2BMI=wh2BMI = \frac{w}{h^2}

13 mean sample population

5

Philosophische Frage zur logistischen Regression: Warum wird der optimale Schwellenwert nicht trainiert?

Normalerweise passen wir in der logistischen Regression ein Modell an und erhalten einige Vorhersagen zum Trainingssatz. Anschließend validieren wir diese Trainingsvorhersagen (so ähnlich wie hier ) und bestimmen den optimalen Schwellenwert auf der Grundlage der ROC-Kurve. Warum integrieren wir die Quervalidierung des Schwellenwerts nicht in das tatsächliche Modell und trainieren …

13 logistic cross-validation optimization roc threshold

2

Ist die Entscheidungsschwelle ein Hyperparameter in der logistischen Regression?

Die vorhergesagten Klassen aus der (binären) logistischen Regression werden unter Verwendung eines Schwellenwerts für die Wahrscheinlichkeiten der Klassenmitgliedschaft bestimmt, die vom Modell generiert werden. Soweit ich weiß, wird standardmäßig 0,5 verwendet. Das Variieren des Schwellenwerts ändert jedoch die vorhergesagten Klassifizierungen. Bedeutet dies, dass die Schwelle ein Hyperparameter ist? Wenn ja, …

13 machine-learning logistic scikit-learn hyperparameter

4

Was ist der Sinn einer univariaten Regression vor einer multivariaten Regression?

Ich arbeite derzeit an einem Problem, bei dem es sich um einen kleinen Datensatz handelt und bei dem der Kausalitätseffekt einer Behandlung auf das Ergebnis von Interesse ist. Mein Berater hat mich angewiesen, eine univariate Regression für jeden Prädiktor mit dem Ergebnis als Antwort und dann der Behandlungszuweisung als Antwort …

13 regression multivariate-analysis model-selection causality univariate

1

Warum ist MLE sinnvoll, wenn die Wahrscheinlichkeit einer einzelnen Stichprobe 0 ist?

Dies ist ein seltsamer Gedanke, den ich hatte, als ich einige alte Statistiken durchgesehen habe, und aus irgendeinem Grund kann ich mir die Antwort nicht vorstellen. Ein fortlaufendes PDF zeigt die Dichte der beobachteten Werte in einem bestimmten Bereich an. Wenn beispielsweise X∼N(μ,σ2)X∼N(μ,σ2)X \sim N(\mu,\sigma^2) ist, dann ist die Wahrscheinlichkeit, …

13 normal-distribution maximum-likelihood pdf

8

Wie behandelt man unlogische Umfrageantworten?

Ich habe eine Umfrage bei einer Auswahl von Künstlern eingereicht. Eine der Fragen bestand darin, den Prozentsatz des Einkommens anzugeben, der sich ergibt aus: künstlerischer Tätigkeit, staatlicher Unterstützung, privater Rente, Tätigkeiten, die nicht mit Kunst zu tun haben. Ungefähr 65% der Personen haben geantwortet, so dass die Summe des Prozentsatzes …

13 survey bias

3

Wann sollte ein GAM vs GLM verwendet werden?

Mir ist klar, dass dies eine potenziell breite Frage ist, aber ich habe mich gefragt, ob es verallgemeinerbare Annahmen gibt, die auf die Verwendung eines GAM (Generalized Additive Model) gegenüber einem GLM (Generalized Linear Model) hinweisen. Jemand sagte mir kürzlich, dass GAMs nur verwendet werden sollten, wenn ich annehme, dass …

13 regression generalized-linear-model gam

2

Ist eine Regression kausal, wenn keine Variablen ausgelassen werden?

Eine Regression von yyy auf xxx muss nicht kausal sein, wenn Variablen ausgelassen werden, die sowohl xxx als auch yyy . Aber wenn nicht für ausgelassene Variablen und Messfehler, ist eine Regression kausal? Das heißt, wenn jede mögliche Variable in der Regression enthalten ist?

13 regression bias causality

3

Entsprechen die Testergebnisse wirklich einer Normalverteilung?

Ich habe versucht zu lernen, welche Distributionen in GLMs verwendet werden sollen, und ich bin ein wenig verwirrt, wann ich die normale Distribution verwenden soll. In einem Teil meines Lehrbuchs heißt es, dass eine Normalverteilung gut für die Modellierung von Prüfungsergebnissen geeignet sein könnte. Im nächsten Teil wird gefragt, welche …

13 normal-distribution generalized-linear-model gamma-distribution inverse-gaussian-distrib

4

Sind MCMC-basierte Methoden geeignet, wenn eine maximale a-posteriori-Schätzung verfügbar ist?

Ich habe bemerkt, dass in vielen praktischen Anwendungen MCMC-basierte Methoden verwendet werden, um einen Parameter zu schätzen, obwohl der hintere Teil analytisch ist (zum Beispiel, weil der hintere Teil konjugiert war). Für mich ist es sinnvoller, MAP-Schätzer als MCMC-basierte Schätzer zu verwenden. Kann jemand darauf hinweisen, warum MCMC in Gegenwart …

13 bayesian mcmc posterior

2

Warum wird die Auswahl der besten Teilmenge im Vergleich zu Lasso nicht bevorzugt?

Ich lese über die Auswahl der besten Teilmengen im Buch Elemente des statistischen Lernens. Wenn ich 3 Prädiktoren , erstelle ich 2 3 = 8 Teilmengen:x1,x2,x3x1,x2,x3x_1,x_2,x_323=823=82^3=8 Teilmenge ohne Prädiktoren Teilmenge mit Prädiktor x1x1x_1 Teilmenge mit Prädiktor x2x2x_2 Teilmenge mit Prädiktor x3x3x_3 Teilmenge mit Prädiktoren x1,x2x1,x2x_1,x_2 Teilmenge mit Prädiktoren x1,x3x1,x3x_1,x_3 Teilmenge …

13 regression feature-selection lasso bias-variance-tradeoff

3

Werden Wahrscheinlichkeiten bei der Funktionstransformation beibehalten?

Ich denke, das ist ein bisschen grundlegend, aber sagen wir, ich habe eine ZufallsvariableXXX , ist die Wahrscheinlichkeitdie gleiche wiefür jede reelle stetige Funktion?P(X≤a)P(X≤a)P(X \leq a)P(f(X)≤f(a))P(f(X)≤f(a))P(f(X) \leq f(a))fff

13 probability distributions

1

Wenn wir Gruppen von Kontrollvariablen vergleichen, sollten wir Äquivalenztests verwenden?

In vielen Veröffentlichungen, die sich mit Behandlungen und Ergebnissen befassen, sehe ich Tabellen (normalerweise "Tabelle 1") von so genannten Störgrößen (häufig demografische Daten, manchmal medizinische Bedingungen) mit Signifikanz- und Texttests wie "Die Gruppen waren sich dort weitgehend ähnlich" waren keine signifikanten Unterschiede zu XXXXX, siehe Tabelle ". Das klare Ziel …

13 equivalence controlling-for-a-variable

3

Warum ist Bootstrapping sinnvoll?

Wenn Sie lediglich eine erneute Stichprobe aus der empirischen Verteilung ziehen, warum nicht einfach die empirische Verteilung studieren? Warum nicht einfach die Variabilität aus der empirischen Verteilung quantifizieren, anstatt die Variabilität durch wiederholte Probenahme zu untersuchen?

13 machine-learning mathematical-statistics sampling bootstrap resampling