Was ist die Notwendigkeit von Annahmen in der linearen Regression?

14

Bei der linearen Regression gehen wir von folgenden Annahmen aus

Der Mittelwert der Antwort

bei jedem Wertesatz der Prädiktoren

ist eine lineare Funktion der Prädiktoren.

E (Y_{i})

$E(Y_i)$

(x_{1 i}, x_{2 i}, \dots)

$(x_{1i}, x_{2i},…)$

Die Fehler

sind unabhängig.

ε_{i}

$ε_i$

Die Fehler

bei jedem Satz von Werten der Prädiktoren

sind normalverteilt.

ε_{i}

$ε_i$

(x_{1 i}, x_{2 i}, \dots)

$(x_{1i}, x_{2i},…)$

Die Fehler

;

bei jedem Satz von Werten der Prädiktoren

haben gleiche Varianzen (bezeichnet mit &

).

ε_{i}

$ε_i$

(x_{1 i}, x_{2 i}, \dots)

$(x_{1i}, x_{2i},…)$

σ 2

$σ2$

Eine Möglichkeit, die lineare Regression zu lösen, sind normale Gleichungen, die wir als schreiben können

θ = (X^{T} X)^{- 1} X^{T} Y

$\theta = (X^TX)^{-1}X^TY$

Aus mathematischer Sicht braucht die obige Gleichung nur umkehrbar zu sein. Warum brauchen wir diese Annahmen? Ich habe ein paar Kollegen gefragt und sie haben erwähnt, dass es gute Ergebnisse bringen soll, und normale Gleichungen sind ein Algorithmus, um dies zu erreichen. Aber wie helfen diese Annahmen in diesem Fall? Wie hilft es ihnen, ein besseres Modell zu erhalten? $X^TX$

regression assumptions

— Uhrensklave
quelle

2

Die Normalverteilung wird benötigt, um Koeffizientenkonfidenzintervalle mit üblichen Formeln zu berechnen. Andere Formeln der CI-Berechnung (ich denke, es war Weiß) erlauben eine nicht normale Verteilung.

— keiv.fly

Sie benötigen diese Annahmen nicht immer, damit das Modell funktioniert. In neuronalen Netzen haben Sie lineare Regressionen und diese minimieren die RMSE genau wie die von Ihnen angegebene Formel, aber höchstwahrscheinlich gilt keine der Annahmen. Keine Normalverteilung, keine gleiche Varianz, keine lineare Funktion, auch die Fehler können abhängig sein.

— keiv.fly

2

Siehe stats.stackexchange.com/q/16381/35989

— Tim

1

@Alexis Die unabhängigen Variablen, die iid sind, sind definitiv keine Annahme (und die abhängige Variable, die iid ist, ist auch keine Annahme - stellen Sie sich vor, wenn wir annehmen, dass die Antwort iid ist, wäre es sinnlos, etwas anderes zu tun, als den Mittelwert zu schätzen). Und die "nicht ausgelassenen Variablen" stellen keine zusätzliche Annahme dar, obwohl es ratsam ist, das Auslassen von Variablen zu vermeiden - die erste aufgeführte Annahme ist wirklich das, was dafür sorgt.

— Dason

1

@Dason Ich denke, mein Link liefert ein ziemlich starkes Beispiel dafür, dass "keine Variablen ausgelassen" für eine gültige Interpretation erforderlich sind. Ich denke auch, dass iid (abhängig von den Prädiktoren, ja) notwendig ist, wobei zufällige Spaziergänge ein hervorragendes Beispiel dafür sind, wo die Schätzung ohne iid fehlschlagen kann (immer nur auf die Schätzung des Mittelwerts zurückgreifen).

— Alexis

19

Sie haben Recht - Sie müssen diese Annahmen nicht erfüllen, um eine Linie der kleinsten Quadrate an die Punkte anzupassen. Sie benötigen diese Annahmen, um die Ergebnisse zu interpretieren. Angenommen, es gibt keine Beziehung zwischen einer Eingabe und , wie hoch ist die Wahrscheinlichkeit, einen Koeffizienten zu erhalten $X_1$ $Y$ wie groß der mindestens so groß ist wie der, den wir aus der Regression gesehen haben? $\beta_1$

— ausspionieren
quelle

17

$x_i$

— Henry
quelle

Nach Anscombe habe ich eine Illustration erstellt, die zeigt, wie eine Verletzung der Annahme, dass keine Variablen ausgelassen wurden, aussehen kann . Ich arbeite noch an einer Anscombe-ähnlichen Illustration eines Verstoßes gegen die iid-Annahme .

— Alexis

3

Sie benötigen diese Annahmen nicht, um ein lineares Modell anzupassen. Ihre Parameterschätzungen können jedoch verzerrt sein oder nicht die Mindestvarianz aufweisen. Verstöße gegen die Annahmen erschweren Ihnen die Interpretation der Regressionsergebnisse, indem Sie beispielsweise ein Konfidenzintervall erstellen.

— Kleinschach
quelle

1

Ok, die Antworten gehen so weit: Wenn wir die Annahmen verletzen, können schlimme Dinge passieren. Ich glaube, die interessante Richtung ist: Wenn alle Annahmen erfüllt sind, die wir brauchen (die sich von den oben genannten ein wenig unterscheiden), warum und wie können wir sicher sein, dass die lineare Regression das beste Modell ist?

Ich denke, die Antwort auf diese Frage lautet: Wenn wir die Annahmen wie in der Antwort auf diese Frage treffen, können wir die bedingte Dichte berechnen $p(y_i|x_i)$ . Daraus können wir berechnen $E[Y_i|X_i=x_i]$ (die Faktorisierung der bedingten Erwartung bei $x_i$ ) und sehen, dass es sich in der Tat um die lineare Regressionsfunktion handelt. Dann verwenden wir dies, um zu sehen, dass dies die beste Funktion in Bezug auf das wahre Risiko ist.

— Fabian Werner
quelle

0

Die beiden Hauptannahmen sind

Unabhängigkeit von Beobachtungen
Der Mittelwert hängt nicht mit der Varianz zusammen

Siehe Die Diskussion in Julian Faraways Buch .

Wenn beides zutrifft, ist OLS überraschend widerstandsfähig gegen Verstöße gegen die anderen von Ihnen aufgeführten Annahmen.

— Astaines
quelle