Warum Spur von

Im Modell ${y} = X \beta + \epsilon$ können wir $\beta$ mit der Normalgleichung ：abschätzen.

$$\hat{\beta} = (X'X)^{-1}X'y,$$ und wir konnten erhalten y =X β . $$\hat{y} = X \hat{\beta}.$$

Der Vektor der Residuen wird geschätzt durch

$$\hat{\epsilon} = y - X \hat{\beta} = (I - X (X'X)^{-1} X') y = Q y = Q (X \beta + \epsilon) = Q \epsilon,$$

wobei

$$Q = I - X (X'X)^{-1} X'.$$

Meine Frage ist, wie man die Schlussfolgerung von tr ( Q ) = n - p erhält .

$$\textrm{tr}(Q) = n - p.$$

Die Schlussfolgerung zählt nur die Dimensionen der Vektorräume. Dies ist jedoch im Allgemeinen nicht der Fall.

Die grundlegendsten Eigenschaften der Matrixmultiplikation zeigen, dass die durch die Matrix lineare Transformation $\mathbb{H}=X(X^\prime X)^{-}X^\prime$erfüllt ist

$$\mathbb{H}^2 = \left(X(X^\prime X)^{-}X^\prime\right)^2=X(X^\prime X)^{-}(X^\prime X)(X^\prime X)^{-}X^\prime=\mathbb{H},$$

es als Projektionsoperator ausstellen . Daher seine Ergänzung

$$\mathbb{Q} = 1 - \mathbb{H}$$

(wie in der Frage angegeben) ist auch ein Projektionsoperator. Die Spur von ist ihr Rang h (siehe unten), von wo aus die Spur von Q gleich n - $\mathbb{H}$$h$$\mathbb{Q}$$n-h$ .

Aus seiner Formel geht hervor, dass die Matrix ist, die mit der Zusammensetzung zweier linearer Transformationen J = ( X ' X ) - X ' und X selbst verbunden ist. Die erste ( J ) wandelt die n -Vektor y in die p -vector β . Das zweite ( X ) ist eine Umwandlung von R p bis R n gegeben durch Y = X $\mathbb{H}$

$$\mathbb{J}=(X^\prime X)^{-}X^\prime$$ $X$$\mathbb{J}$$n$$y$$p$$\hat\beta$$X$$\mathbb{R}^p$$\mathbb{R}^n$$\hat y = X\hat \beta$. Sein Rang kann den kleineren dieser beiden Dimensionen nicht überschreiten, der in einer Einstellung der kleinsten Quadrate immer (aber kleiner als p sein kann , wenn J nicht den vollen Rang hat). Folglich kann der Rang der Zusammensetzung H = X J den Rang von X nicht überschreiten . Die richtige Schlussfolgerung lautet also$p$$p$$\mathbb{J}$$\mathbb{H}=X\mathbb{J}$$X$

genau dann, wenn J den vollen Rang hat; und im Allgemeinen ist n ≥ tr ( Q ) ≥ n - p . Im ersteren Fall soll das Modell "identifizierbar" sein (für die Koeffizienten von β ).$\text{tr} (\mathbb{Q}) = n-p$$\mathbb{J}$$n \ge \text{tr} (\mathbb{Q}) \ge n-p$$\beta$

hat genau dann den vollen Rang, wenn X ' X invertierbar ist.$\mathbb{J}$$X^\prime X$

---

Geometrische Interpretation

stellt die orthogonale Projektion von n- Vektoren y (die "Antwort" oder "abhängige Variable" darstellen) auf den Raum dar, der von den Spalten von X überspannt wird(die "unabhängigen Variablen" oder "Kovariaten" darstellen). Die Differenz Q = 1 - H zeigt, wie man einen beliebigen n- Vektor y in eine Summe von Vektoren y = H ( y ) + Q ( y ) zerlegt , wobei der erste von X "vorhergesagt" werden kannund der zweite senkrecht dazu ist . Wenn der$\mathbb{H}$$n$$y$$X$$\mathbb{Q}=1-\mathbb{H}$$n$$y$

$$y = \mathbb{H}(y) + \mathbb{Q}(y),$$ $X$$p$Spalten von erzeugen einen p- dimensionalen Raum (das heißt, sie sind nicht kollinear), der Rang von H ist p und der Rang von Q ist n - p , was die n - p zusätzlichen Variationsdimensionen in der Antwort widerspiegelt , die nicht dargestellt sind innerhalb der unabhängigen Variablen. Die Kurve gibt eine algebraische Formel für diese Dimensionen an.$X$$p$$\mathbb{H}$$p$$\mathbb{Q}$$n-p$$n-p$

---

Lineare Algebra Hintergrund

Ein Projektionsoperator auf einem Vektorraum (wie beispielsweise R n ) eine lineare Transformation P : V → V (das heißt, ein endomorphism von V ) , so daß P 2 = P . Dies macht sein Komplement Q = 1 - P auch zu einem Projektionsoperator, weil$V$$\mathbb{R}^n$$\mathbb{P}:V\to V$$V$$\mathbb{P}^2=\mathbb{P}$$\mathbb{Q}=1-\mathbb{P}$

$$\mathbb{Q}^2 = \left(1 - \mathbb{P}\right)^2 = 1 - 2\mathbb{P} + \mathbb{P}^2 = 1-2\mathbb{P}+\mathbb{P} = \mathbb{Q}.$$

Alle Projektionen fixieren jedes Element ihrer Bilder, denn wann immer , können wir v = P ( w ) für einige w ∈ V schreiben , woraus w = P ( v ) = P 2 ( v ) = P ( P ( v ) ) = P ( w ) $v\in \text{Im}(\mathbb{P})$$v = \mathbb{P}(w)$$w\in V$

$$w = \mathbb{P}(v) = \mathbb{P}^2(v) = \mathbb{P}(\mathbb{P}(v)) = \mathbb{P}(w).$$

Jedem Endomorphismus von V sind zwei Unterräume zugeordnet: sein Kernel- Ker ( P ) = { v ∈ $\mathbb{P}$$V$ und seinBild Im ( P ) = { v ∈

$$\text{ker}(\mathbb{P}) = \{v\in v\,|\, \mathbb{P}(v)=0\}$$ Jeder Vektor v ∈ V kann in der Form v = w + u geschrieben werden, wobei w ∈ Im ( P ) und u ∈ Ker ( P ) . Wir können daher eine Basis E ∪ F für V konstruieren,für die E ⊂ Ker ( P ) und F ⊂ $$\text{Im}(\mathbb{P}) = \{v\in v\,|\, \exists_{w\in V} \mathbb{P}(w)=v\}.$$ $v\in V$ $$v = w+u$$ $w\in \text{Im}(\mathbb{P})$$u\in \text{Ker}(\mathbb{P})$$E \cup F$$V$$E \subset \text{Ker}(\mathbb{P})$ . Wenn V endlichdimensional ist, liegt die Matrix von P auf dieser Basis daher in blockdiagonaler Form vor, wobei ein Block (entsprechend der Wirkung von P auf E ) alle Nullen und der andere (entsprechend der Wirkung von P auf F) )gleich den f durch f Identitätsmatrix, wobei die Dimension F ist f . Die Spur von P ist die Summe der Werte auf der Diagonale und muss daher gleich f × 1 = f sein . Diese Zahl ist derRangvon$F \subset \text{Im}(\mathbb{P})$$V$$\mathbb{P}$$\mathbb{P}$$E$$\mathbb{P}$$F$$f$$f$$F$$f$$\mathbb{P}$$f\times 1 = f$ : die Dimension seines Bildes.$\mathbb{P}$

Die Spur die Spur ist gleich 1 (entspricht n , die Abmessung V ) minus der Spur von P .$1-\mathbb{P}$$1$$n$$V$$\mathbb{P}$

Diese Ergebnisse können mit der Behauptung zusammengefasst werden, dass die Spur einer Projektion ihrem Rang entspricht.

@Dougal hat bereits eine Antwort gegeben, aber hier ist eine andere, etwas einfacher.

$\newcommand{\tr}{\mathrm{tr}}\tr(A - B) = \tr(A) - \tr(B)$

$$\tr(Q) = \tr(I) - \tr(X(X'X)^{-1}X').$$ $I$$n \times n$$\tr(I) = n$$\tr(AB) = \tr(BA)$ $$\tr(Q) = n - \tr((X'X)^{-1}(X'X)).$$ $(X'X)^{-1}$$(X'X)$$p \times p$$p$ $$\tr(Q) = n - p.$$

$\newcommand\R{\mathbb R}$$n \le p$$X$ vollen Rang hat.

$X = U \Sigma V^T$$\Sigma \in \R^{p \times p}$ is diagonal and $U \in \R^{n \times p}, V \in \R^{p \times p}$ have $U^T U = V^T V = V V^T = I_p$ (but note $U U^T$ is rank at most $p$ so it cannot be $I_n$). Then

$$\begin{align} X (X^T X)^{-1} X^T &= U \Sigma V^T (V \Sigma U^T U \Sigma V^T)^{-1} V \Sigma U^T \\&= U \Sigma V^T (V \Sigma^2 V^T)^{-1} V \Sigma U^T \\&= U \Sigma V^T V \Sigma^{-2} V^T V \Sigma U^T \\&= U U^T .\end{align}$$

Now, there exists a matrix $U_2 \in \R^{n \times n-p}$ such that $U_n = \begin{bmatrix}U & U_2\end{bmatrix}$ is unitary. We can write

$$\begin{align} I - X (X^T X)^{-1} X^T &= U_n U_n^T - U U^T \\&= U_n \left( I_n - \begin{bmatrix}I_p & 0 \\ 0 & 0\end{bmatrix} \right) U_n^T \\&= U_n \begin{bmatrix}0 & 0 \\ 0 & I_{n-p}\end{bmatrix} U_n^T .\end{align}$$ This form shows that $Q$ is positive semidefinite, and since it is a valid svd and the singular values are the square of the eigenvalues for a square symmetric matrix, also tells us that $Q$ has eigenvalues 1 (of multiplicity $n-p$) and 0 (of multiplicity $p$). Thus the trace of $Q$ is $n-p$.