Verteilung der Summe der Quadrate Fehler für die lineare Regression?

Ich weiß, dass die Verteilung der Stichprobenvarianz Es liegt an der Tatsache, dass kann in Matrixform (wobei A: symmetrisch) ausgedrückt werden, und er kann erneut ausgedrückt werden in: (wobei Q: orthonormal, D: diagonale Matrix).

\sum \frac{(X_{i} - \bar{X})^{2}}{σ^{2}} \sim χ_{(n - 1)}^{2}

$\sum\frac{(X_i-\bar{X})^2}{\sigma^2}\sim \chi^2_{(n-1)}$

\sum \frac{(X_{i} - \bar{X})^{2}}{n - 1} \sim \frac{σ^{2}}{n - 1} χ_{(n - 1)}^{2}

$\sum\frac{(X_i-\bar{X})^2}{n-1}\sim \frac{\sigma^2}{n-1}\chi^2_{(n-1)}$

(X - \bar{X})^{2}

$(X-\bar{X})^2$

x A x^{'}

$xAx'$

x^{'} Q D Q^{'} x

$x'QDQ'x$

Was ist mit $\sum(Y_i-\hat{\beta}_0-\hat{\beta}_1X_i)^2$ unter der Annahme $(Y - \beta_0 - \beta_1X)\sim \mathcal{N}(0, \sigma^2)$ ?

Ich

\sum \frac{(Y_{i} - {\hat{β}}_{0} - {\hat{β}}_{1} X_{i})^{2}}{σ^{2}} \sim χ_{(n - 2)}^{2} .

$\sum\frac{(Y_i-\hat{\beta}_0-\hat{\beta}_1X_i)^2}{\sigma^2}\sim \chi^2_{(n-2)}.$

Aber ich habe keine Ahnung, wie ich es beweisen oder zeigen soll.

Ist es genau als $\chi^2_{(n-2)}$ ?

— KH Kim
quelle

Ist das Hausaufgaben? Wenn ja, verwenden Sie bitte das Hausaufgaben-Tag.

— MånsT

Nein, ist es nicht. Ich denke, es ist wahr, denn die Summe der Quadrate ist ein Quadrat der linearen Kombination von Ys gegebenen konstanten X. Aber ist es? Ein einfacher Beweis wie dieser wäre willkommen! math.stackexchange.com/questions/47009/…

— KH Kim

Die Beschreibungen, die Sie sowohl in der Frage als auch in Ihrem Kommentar geben, sind etwas durcheinander. Haben Sie aufgeschrieben, wie Ihre Matrix für die Stichprobenvarianz aussehen muss? Hilft Ihnen das zu sehen, wie man verallgemeinert?

A

$A$

— Kardinal

Korrigiert für D. Ich denke, der kritische Punkt ist, dass das diagonale Element von D so etwas wie (1,1,1, ..., 1,0,0) sein sollte. Gibt es eine Möglichkeit, dies zu beweisen? oder Gibt es sowieso zu zeigen, dass wobei sse / ,

χ^{2} (n) = χ^{2} (n - 2) + χ^{2} (1) + χ^{2} (1)

$\chi^2(n)=\chi^2(n-2)+\chi^2(1)+\chi^2(1)$

σ^{2} \sim χ^{2} (n - 2)

$\sigma^2 \sim \chi^2(n-2)$

\sum e_{i}^{2} / σ^{2} \sim χ^{2} (n)

$\sum{e_i^2}/\sigma^2 \sim \chi^2(n)$

— KH Kim

Wir können dies für einen allgemeineren Fall von Variablen beweisen , indem wir die "Hutmatrix" und einige ihrer nützlichen Eigenschaften verwenden. Diese Ergebnisse sind aufgrund der Verwendung der spektralen Zerlegung in Nichtmatrix-Begriffen normalerweise viel schwieriger anzugeben. $p$

Nun in Matrixversion der kleinsten Quadrate, die Hut - Matrix , wo hat Zeilen und Spalten (Spalte von Einsen für ). Nehmen Sie der Einfachheit halber den vollen Spaltenrang an - andernfalls können Sie im Folgenden durch den Spaltenrang ersetzen . Wir können die angepassten Werte als oder in Matrixnotation . Auf diese Weise können wir die Summe der Quadrate wie folgt schreiben: $H=X(X^TX)^{-1}X^T$ $X$ $n$ $p+1$ $\beta_0$ $p+1$ $X$ $\hat{Y}_i=\sum_{j=1}^nH_{ij}Y_j$ $\hat{Y}=HY$

\frac{\sum_{i = 1} (Y - \hat{Y_{i}})^{2}}{σ^{2}} = \frac{(Y - \hat{Y})^{T} (Y - \hat{Y})}{σ^{2}} = \frac{(Y - H Y)^{T} (Y - H Y)}{σ^{2}}

$\frac{\sum_{i=1}(Y-\hat{Y_i})^2}{\sigma^2}=\frac{(Y-\hat{Y})^T(Y-\hat{Y})}{\sigma^2}=\frac{(Y-HY)^T(Y-HY)}{\sigma^2}$

= \frac{Y^{T} (I_{n} - H) Y}{σ^{2}}

$=\frac{Y^T(I_n-H)Y}{\sigma^2}$

Wobei eine Identitätsmatrix der Ordnung . Der letzte Schritt folgt aus der Tatsache, dass eine idepotente Matrix ist, da $I_n$ $n$ $H$

H^{2} = [X (X^{T} X)^{- 1} X^{T}] [X (X^{T} X)^{- 1} X^{T}] = X (X^{T} X)^{- 1} X^{T} = H = H H^{T} = H^{T} H

$H^2=[X(X^TX)^{-1}X^T][X(X^TX)^{-1}X^T]=X(X^TX)^{-1}X^T=H=HH^T=H^TH$

Eine nette Eigenschaft idepotenter Matrizen ist nun, dass alle ihre Eigenwerte gleich Null oder Eins sein müssen. Wenn einen normalisierten Eigenvektor von mit dem Eigenwert , können wir dies wie folgt beweisen: $e$ $H$ $l$

H e = l e ⟹ H (H e) = H (l e)

$He=le\implies H(He)=H(le)$

L H S = H^{2} e = H e = l e R H S = l H e = l^{2} e

$LHS=H^2e=He=le\;\;\; RHS=lHe=l^2e$

⟹ l e = l^{2} e ⟹ l = 0 or 1

$\implies le=l^2e\implies l=0\text{ or }1$

(Beachten Sie, dass nicht Null sein kann, da es erfüllen muss. ) Nun, da idepotent ist, ist auch, weil $e$ $e^Te=1$ $H$ $I_n-H$

(I_{n} - H) (I_{n} - H) = I - I H - H I + H^{2} = I_{n} - H

$(I_n-H)(I_n-H)=I-IH-HI+H^2=I_n-H$

Wir haben auch die Eigenschaft, dass die Summe der Eigenwerte der Spur der Matrix entspricht und

t r (I_{n} - H) = t r (I_{n}) - t r (H) = n - t r (X (X^{T} X)^{- 1} X^{T}) = n - t r ((X^{T} X)^{- 1} X^{T} X)

$tr(I_n-H)=tr(I_n)-tr(H)=n-tr(X(X^TX)^{-1}X^T)=n-tr((X^TX)^{-1}X^TX)$

= n - t r (I_{p + 1}) = n - p - 1

$=n-tr(I_{p+1})=n-p-1$

Daher muss Eigenwerte gleich und Eigenwerte gleich . $I-H$ $n-p-1$ $1$ $p+1$ $0$

Jetzt können wir die spektrale Zerlegung von wobei und ist orthogonal (weil symmetrisch ist). Eine weitere Eigenschaft , die nützlich ist , ist , daß . Dies hilft, die Matrix einzugrenzen $I-H=ADA^T$ $D=\begin{pmatrix}I_{n-p-1} & 0_{[n-p-1]\times[p+1]}\\0_{[p+1]\times [n-p-1]} & 0_{[p+1]\times [p+1]}\end{pmatrix}$ $A$ $I-H$ $HX=X$ $A$

H X = X ⟹ (I - H) X = 0 ⟹ A D A^{T} X = 0 ⟹ D A^{T} X = 0

$HX=X\implies(I-H)X=0\implies ADA^TX=0\implies DA^TX=0$

⟹ (A^{T} X)_{i j} = 0 i = 1, \dots, n - p - 1 j = 1, \dots, p + 1

$\implies (A^TX)_{ij}=0\;\;\;i=1,\dots,n-p-1\;\;\; j=1,\dots,p+1$

und wir bekommen:

\frac{\sum_{i = 1} (Y - \hat{Y_{i}})^{2}}{σ^{2}} = \frac{Y^{T} A D A^{T} Y}{σ^{2}} = \frac{\sum_{i = 1}^{n - p - 1} (A^{T} Y)_{i}^{2}}{σ^{2}}

$\frac{\sum_{i=1}(Y-\hat{Y_i})^2}{\sigma^2}=\frac{Y^TADA^TY}{\sigma^2}=\frac{\sum_{i=1}^{n-p-1}(A^TY)_i^2}{\sigma^2}$

Nun haben wir unter dem Modell und unter Verwendung der normalen Standardtheorie haben wir zeigt, dass die Komponenten von unabhängig sind. Wenn wir nun das nützliche Ergebnis verwenden, haben wir das für . Die Chi-Quadrat-Verteilung mit Freiheitsgraden für die Summe der quadratischen Fehler folgt sofort. $Y\sim N(X\beta,\sigma^2I)$ $A^TY\sim N(A^TX\beta,\sigma^2A^TA)\sim N(A^TX\beta,\sigma^2I)$ $A^TY$ $(A^TY)_i\sim N(0,\sigma^2)$ $i=1,\dots,n-p-1$ $n-p-1$

— Wahrscheinlichkeitslogik
quelle

Wow, vielen Dank. Es ist wirklich großartig! Matrixform zahlt sich wirklich aus! Zusammenfassend ist SSE / und ist idempotent. Idempotente Matrizen haben Eigenwerte von entweder 0 oder 1. Die Summe der Eigenwerte ist also die Anzahl der Eigenwerte 1. und da und zu n-p wird +1. und die Summe der Eigenwerte einer Matrix ist die Summe der Spuren der Matrix! und kann als ausgedrückt werden . Das erste wird also zu mit D mit nur np-1 diagonalen .

σ^{2} = Y^{T} (I - H) Y

$\sigma^2 = Y^T(I-H)Y$

I - H

$I-H$

t r (I_{n} - H) = t r (I_{n}) - t r (H) = t r (I_{n}) - t r (X (X^{T} X)^{-} 1 X^{T}) = t r (I_{n}) - t r ((X^{T} X)^{-} 1 X^{T} X)

$tr(I_n-H)= tr(I_n)-tr(H)=tr(I_n)-tr(X(X^T X)^-1 X^T)=tr(I_n)-tr((X^T X)^-1 X^T X)$

t r (A B) = t r (B A)

$tr(AB)=tr(BA)$

t r (I_{n} - H)

$tr(I_n-H)$

I - H

$I-H$

A D A^{T}

$ADA^T$

Y^{T} (I - H) Y

$Y^T(I-H)Y$

Y^{T} A D A^{T} Y

$Y^TADA^TY$

— KH Kim

Gute Antwort!! einen anderen Ansatz vorzustellen, können wir stattdessen eine transformierte multivariate , die immer noch der gleichen Verteilung folgt: wenn wir die affine Eigenschaft verwenden. Dann wird der letzte Bruch .

v := A^{'} Y

$v := A'Y$

N (0, σ^{2} I)

$\mathcal{N}\left(0, \sigma^{2}I\right)$

\frac{Y^{'} A D A^{'} Y}{σ^{2}} = \frac{v^{'} D v}{σ^{2}} = \frac{v^{'} [\begin{matrix} I & 0 \\ 0 & 0 \end{matrix}] v}{σ^{2}} = \sum_{i = 1}^{tr D} {(\frac{v_{i}}{σ})}^{2}

$\frac{Y'ADA'Y}{\sigma^{2}} = \frac{v'Dv}{\sigma^{2}} = \frac{v'\begin{bmatrix} I & 0\\0 & 0\end{bmatrix}v}{\sigma^{2}}= \sum_{i=1}^{\operatorname{tr}D} \left(\frac{v_{i}}{\sigma}\right)^{2}$

— Daeyoung Lim