Warum wird RSS Chi-Quadrat-mal np verteilt?

Ich möchte , verstehen , warum unter dem OLS - Modell, die RSS (Restsumme der Quadrate) verteilt wird ( die Anzahl der Parameter in dem Modell ist, die Anzahl der Beobachtungen).

χ^{2} \cdot (n - p)

$\chi^2\cdot (n-p)$

p

$p$

n

$n$

Ich entschuldige mich dafür, dass ich eine so grundlegende Frage gestellt habe, aber ich kann die Antwort anscheinend nicht online (oder in meinen anwendungsorientierten Lehrbüchern) finden.

regression distributions least-squares

— Tal Galili
quelle

Beachten Sie, dass die Antworten zeigen, dass die Behauptung nicht ganz richtig ist: Die Verteilung von RSS ist (nicht ) mal eine -Verteilung, wobei die wahre Varianz der Fehler ist.

σ^{2}

$\sigma^2$

n - p

$n-p$

χ^{2} (n - p)

$\chi^2(n-p)$

σ^{2}

$\sigma^2$

— whuber

Antworten:

Ich betrachte folgendes lineares Modell: ${y} = X \beta + \epsilon$ .

Der Vektor der Residuen wird geschätzt durch

\hat{ϵ} = y - X \hat{β} = (I - X (X^{'} X)^{- 1} X^{'}) y = Q y = Q (X β + ϵ) = Q ϵ

$\hat{\epsilon} = y - X \hat{\beta} = (I - X (X'X)^{-1} X') y = Q y = Q (X \beta + \epsilon) = Q \epsilon$

wobei . $Q = I - X (X'X)^{-1} X'$

Beachten Sie, dass (die Kurve ist bei zyklischer Permutation invariant) und dass . Die Eigenwerte von sind daher und (einige Details unten). Daher existiert eine einheitliche Matrix so dass ( Matrizen sind genau dann durch einheitliche Matrizen diagonalisierbar, wenn sie normal sind. ) $\textrm{tr}(Q) = n - p$ $Q'=Q=Q^2$ $Q$ $0$ $1$ $V$

V^{'} Q V = Δ = diag (\underset{n - p times}{\underset{⏟}{1, \dots, 1}}, \underset{p times}{\underset{⏟}{0, \dots, 0}})

$V'QV = \Delta = \textrm{diag}(\underbrace{1, \ldots, 1}_{n-p \textrm{ times}}, \underbrace{0, \ldots, 0}_{p \textrm{ times}})$

Nun wollen wir . $K = V' \hat{\epsilon}$

Da , haben wir und daher . Somit $\hat{\epsilon} \sim N(0, \sigma^2 Q)$ $K \sim N(0, \sigma^2 \Delta)$ $K_{n-p+1}=\ldots=K_n=0$

\frac{‖ K ‖^{2}}{σ^{2}} = \frac{‖ K^{⋆} ‖^{2}}{σ^{2}} \sim χ_{n - p}^{2}

$\frac{\|K\|^2}{\sigma^2} = \frac{\|K^{\star}\|^2}{\sigma^2} \sim \chi^2_{n-p}$

mit . $K^{\star} = (K_1, \ldots, K_{n-p})'$

Da eine einheitliche Matrix ist, haben wir auch $V$

‖ \hat{ϵ} ‖^{2} = ‖ K ‖^{2} = ‖ K^{⋆} ‖^{2}

$\|\hat{\epsilon}\|^2 = \|K\|^2=\|K^{\star}\|^2$

Somit

\frac{RSS}{σ^{2}} \sim χ_{n - p}^{2}

$\frac{\textrm{RSS}}{\sigma^2} \sim \chi^2_{n-p}$

Beachten Sie schließlich, dass dieses Ergebnis dies impliziert

E (\frac{RSS}{n - p}) = σ^{2}

$E\left(\frac{\textrm{RSS}}{n-p}\right) = \sigma^2$

Da , teilt das Minimalpolynom von das Polynom . Die Eigenwerte von liegen also zwischen und . Da auch die Summe der Eigenwerte multipliziert mit ihrer Multiplizität ist, haben wir zwangsläufig, dass ein Eigenwert mit der Multiplizität und Null ein Eigenwert mit der Multiplizität . $Q^2 - Q =0$ $Q$ $z^2 - z$ $Q$ $0$ $1$ $\textrm{tr}(Q) = n-p$ $1$ $n-p$ $p$

— Ocram
quelle

(+1) Gute Antwort. Man kann die Aufmerksamkeit auf orthogonale statt auf einheitliche

reell und symmetrisch ist. Auch, was ist

? Ich sehe es nicht definiert. Durch ein leichtes erneutes Auslösen des Arguments kann auch die Verwendung einer entarteten Normalen vermieden werden, falls dies bei denjenigen, die nicht damit vertraut sind, einige Bestürzung hervorruft.

V

$V$

Q

$Q$

S C R

$\mathrm{SCR}$

— Kardinal

@Kardinal. Guter Punkt. SCR ('Somme des Carrés Résiduels' auf Französisch) sollte RSS sein.

— 25.

Danke für die ausführliche Antwort Ocram! Einige Schritte erfordern, dass ich mehr nachschaue, aber ich muss jetzt über eine Übersicht nachdenken - danke!

— Tal Galili

@ Glen_b: Oh, ich habe vor ein paar Tagen eine Änderung vorgenommen, um SCR in SRR zu ändern. Ich habe mich nicht daran erinnert, dass SCR in meinem Kommentar erwähnt wird. Entschuldigung für die Verwirrung.

— 18.

@ Glen_b: Es sollte bedeuten, RSS: -S erneut bearbeitet. Thx

— ocram

IMHO kompliziert die matricial Notation Sachen. Reine Vektorraumsprache ist sauberer. Das Modell kann geschrieben werden als wobei die Standardnormalverteilung auf und angenommen wird, dass zu einem Vektorsubraum . $Y=X\beta+\epsilon$ $\boxed{Y=\mu + \sigma G}$ $G$ $\mathbb{R}^n$ $\mu$ $W \subset \mathbb{R}^n$

Jetzt kommt die Sprache der Elementargeometrie ins Spiel. Die Least-Squares - Schätzfunktion von ist nichts anderes als : die orthogonale Projektion des beobachtbaren auf den Raum , den angenommen wird , gehört. Der Vektor der Residuen ist : Projektion auf das orthogonale Komplement von in . Die Dimension von ist $\hat\mu$ $\mu$ $P_WY$ $Y$ $W$ $\mu$ $P^\perp_WY$ $W^\perp$ $W$ $\mathbb{R^n}$ $W^\perp$ . $\dim(W^\perp)=n-\dim(W)$

Schließlich ist und hat die Standardnormalverteilung auf , daher hat seine quadratische Norm die Verteilung mit Freiheitsgrade.

P_{W}^{⊥} Y = P_{W}^{⊥} (μ + σ G) = 0 + σ P_{W}^{⊥} G,

$P^\perp_WY = P^\perp_W(\mu + \sigma G) = 0 + \sigma P^\perp_WG,$

P_{W}^{⊥} G

$P^\perp_WG$

W^{⊥}

$W^\perp$

χ^{2}

$\chi^2$

\dim (W^{⊥})

$\dim(W^\perp)$

Diese Demonstration verwendet nur einen Satz, eigentlich einen Definitionssatz:

Definition und Satz . Ein Zufallsvektor in hat die Standardnormalverteilung auf einem Vektorraum wenn er seine Werte in und seine Koordinaten in einem ( $\mathbb{R}^n$ $U \subset \mathbb{R}^n$ $U$ $\iff$ Insgesamt sind orthonormale Basis von unabhängige eindimensionale Standardnormalverteilungen $U$

(Aus diesem Definitionssatz geht hervor, dass der Satz von Cochran so offensichtlich ist, dass es sich nicht lohnt, ihn anzugeben.)

— Stéphane Laurent
quelle