Funktioniert die Regression bei Daten, die nicht normal verteilt sind?

Histogramm meiner Daten

Ich versuche herauszufinden, ob die Variablen x und y zusammen oder getrennt Q_7 signifikant beeinflussen (das Histogramm, für das oben angegeben ist). Ich habe einen Shapiro-Wilk-Normalitätstest durchgeführt und Folgendes erhalten

shapiro.test(Q_7)
## data:  Q_7
## W = 0.68439, p-value < 2.2e-16

Funktioniert die folgende Regression mit dieser Verteilung? Oder gibt es einen anderen Test, den ich machen sollte?

lm(Q_7 ~ x*y)

regression assumptions

— kjetil b halvorsen
quelle

Überprüfen Sie die Residuen, nicht die Daten

— 李哲源

Versuchen Sie die Protokolltransformation Q_7. Im Moment ist es stark nach rechts geneigt. Überprüfen Sie auch die Verteilungen der Prädiktoren.

— Joe

Schlagen Sie den Gauß-Markov-Satz nach.

— G. Grothendieck

Versuchen Sie es mit der Quadratwurzel-Transformation. Wenn Sie viele Nullen haben, funktioniert die Protokolltransformation möglicherweise nicht richtig. Da es sich um Zählungen handelt, ist die negative binomiale Poisson-Regression eine natürlichere Wahl.

— Utobi

Was bedeutet "Nichtdaten"?

— Silverfish

Antworten:

Bei einer Regressionsanalyse wird davon ausgegangen, dass die Daten normal verteilt sind und von den Variablen im Regressionsmodell abhängig sind . Das heißt, wenn dies das Regressionsmodell ist: wobei Ihre Matrix von Regressorvariablen ist, der (Vektor von) zu erklärenden Daten ist, ein Vektor von Koeffizienten auf den Regressoren ist und zufällig ist Variabilität (typischerweise als Rauschen betrachtet), dann gilt die Annahme der Normalität streng für , nicht für (edit: genau genommen gilt sie für die bedingte Verteilung

y = X β + ε

$y=X\beta+\varepsilon$

X

$X$

y

$y$

β

$\beta$

ε

$\varepsilon$

ε

$\varepsilon$

y

$y$

y | X

$y|X$ (was der Verteilung von

), jedoch nicht der Randverteilung von

). Mit anderen Worten, die Daten sollten normal verteilt werden, sobald die Auswirkungen der Regressoren berücksichtigt wurden, jedoch nicht (unbedingt) zuvor.

ε

$\varepsilon$

y

$y$

Was Sie hier testen, ist die Verteilung von , wobei Sie die Verteilung von testen möchten . Natürlich kann man nicht wissen , , aber man kann es schätzen , indem die Regression ausgeführt wird und die distrbution der Residuen (wobei sind die geschätzten coefficents aus der Regression). Diese Residuen eine Schätzung sind , und so ihre Verteilung wird eine Annäherung an die Verteilung der sein . $y$ $\varepsilon$ $\varepsilon$ $\hat\varepsilon=y-X\hat\beta$ $\hat\beta$ $\hat\varepsilon$ $\varepsilon$ $\varepsilon$

— Ruben van Bergen
quelle

Dies ist eine gute, flotte Zusammenfassung von Standardmaterialien, scheint jedoch ein Schlüsselmerkmal dieser Frage zu übersehen, nämlich dass diese funktionale Form bei einer verzerrten Antwort ungleich Null wahrscheinlich keine gute Idee ist. Um negative Vorhersagen und aus anderen Gründen zu vermeiden, scheint die Poisson-Regression ein besserer Ausgangspunkt zu sein.

— Nick Cox

Die kurze Antwort lautet ja.

$y$ $X$ $\varepsilon$

lm $Y$ $X$

$\mathbb{E}[\varepsilon|X] = 0$
$\mathrm{Var}(\varepsilon) < \infty$

Wenn Sie weiter davon ausgehen, dass Ihre Residuen nicht korreliert sind und dass sie alle dieselbe Varianz haben, gilt das Gauß-Markov-Theorem und der OLS ist der beste lineare unverzerrte Schätzer (BLAU).

Wenn Ihre Residuen korreliert sind oder unterschiedliche Abweichungen aufweisen, funktioniert OLS immer noch, kann jedoch weniger genau sein. Dies muss sich in der Art und Weise widerspiegeln, wie Sie die Konfidenzintervalle Ihrer Schätzungen angeben (z. B. unter Verwendung robuster Standardfehler ).

Wenn Sie auch davon ausgehen, dass Ihre Residuen normal verteilt sind, wird OLS asymptotisch effizient, da dies der maximalen Wahrscheinlichkeit entspricht.

Die Regression funktioniert möglicherweise besser, wenn Ihre Daten normal verteilt sind. Wenn dies nicht der Fall ist, funktioniert sie dennoch.

— Thomas
quelle