Warum ist der Rang der Kovarianzmatrix höchstens

Wie in dieser Frage festgestellt , ist der maximale Rang der Kovarianzmatrix wobei die Stichprobengröße ist. Wenn die Dimension der Kovarianzmatrix also der Stichprobengröße entspricht, wäre sie singulär. Ich kann nicht verstehen, warum wir vom maximalen Rang der Kovarianzmatrix subtrahieren . $n-1$ $n$ $1$ $n$

covariance-matrix linear-algebra

— user3070752
quelle

Denken Sie an

n = 2

$n=2$ Punkte in 3D, um die Intuition zu erhalten . In welcher Dimensionalität des Unterraums liegen diese Punkte? Können Sie sie in eine Zeile einpassen (1D-Unterraum)? Oder brauchen Sie eine Ebene (2D-Unterraum)?

— Amöbe sagt Reinstate Monica

Sie verstehen also, dass

n = 2

$n=2$ zu einer Rang-1-Kovarianzmatrix führt? Okay, nehmen wir

n = 3

$n=3$ Punkte. Können Sie sehen, dass Sie sie immer in eine 2D-Ebene einpassen können?

— Amöbe sagt Reinstate Monica

@amoeba Ihr Beispiel war klar, aber ich kann nicht verstehen, wie die Beziehung zwischen der Anpassung der Hyperebene in Ihrem Beispiel und der Kovarianzmatrix ist.

— user3070752

Entschuldigung für die Verzögerung;)

— user3070752

Der unverzerrte Schätzer der Stichproben-Kovarianzmatrix mit $n$ Datenpunkten ist wobei der Durchschnitt über alle Punkte ist. Wir bezeichnen als . Der Faktor ändert den Rang nicht, und jeder Term in der Summe hat (per Definition) Rang , sodass der Kern der Frage wie folgt lautet: $\newcommand{\x}{\mathbf x}\x_i \in \mathbb R^d$

C = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤},

$\mathbf C = \frac{1}{n-1}\sum_{i=1}^n (\x_i - \bar \x)(\x_i - \bar \x)^\top,$

\bar{x} = \sum x_{i} / n

$\bar \x = \sum \x_i /n$

(x_{i} - \bar{x})

$(\x_i-\bar \x)$

z_{i}

$\newcommand{\z}{\mathbf z}\z_i$

\frac{1}{n - 1}

$\frac{1}{n-1}$

1

$1$

Warum hat Rang und nicht Rang , wie es scheint, weil wir Rang- Matrizen summieren ? $\sum \z_i\z_i^\top$ $n-1$ $n$ $n$ $1$

Die Antwort ist, dass es passiert, weil nicht unabhängig sind. Nach Konstruktion ist . Wenn Sie also von , ist der letzte verbleibende vollständig bestimmt. Wir summieren nicht unabhängige Rang- Matrizen, sondern nur unabhängige Rang- Matrizen und addieren dann eine weitere Rang- Matrix, die vom Rest vollständig linear bestimmt wird. Diese letzte Addition ändert nichts am Gesamtrang. $\z_i$ $\sum\z_i = 0$ $n-1$ $\z_i$ $\z_n$ $n$ $1$ $n-1$ $1$ $1$

Wir können dies direkt sehen, wenn wir als umschreiben und es jetzt in den obigen Ausdruck :Jetzt gibt es nur noch Terme in der Summe und es wird klar, dass die gesamte Summe höchstens den Rang . $\sum\z_i = 0$

z_{n} = - \sum_{i = 1}^{n - 1} z_{i},

$\z_n = -\sum_{i=1}^{n-1}\z_i,$

\sum_{i = 1}^{n} z_{i} z_{i}^{⊤} = \sum_{i = 1}^{n - 1} z_{i} z_{i}^{⊤} + (- \sum_{i = 1}^{n - 1} z_{i}) z_{n}^{⊤} = \sum_{i = 1}^{n - 1} z_{i} (z_{i} - z_{n})^{⊤} .

$\sum_{i=1}^n \z_i\z_i^\top = \sum_{i=1}^{n-1} \z_i\z_i^\top + \Big(-\sum_{i=1}^{n-1}\z_i\Big)\z_n^\top=\sum_{i=1}^{n-1} \z_i(\z_i-\z_n)^\top.$ $n-1$ $n-1$

Dieses Ergebnis weist übrigens darauf hin, warum der Faktor im unverzerrten Kovarianzschätzer und nicht . $\frac{1}{n-1}$ $\frac{1}{n}$

Die geometrische Intuition, auf die ich in den obigen Kommentaren angespielt habe, ist, dass man eine 1D-Linie immer an zwei beliebige Punkte in 2D anpassen kann und eine 2D-Ebene immer an drei beliebige Punkte in 3D anpassen kann, dh die Dimensionalität des Unterraums ist immer ; Dies funktioniert nur, weil wir davon ausgehen, dass diese Linie (und Ebene) "verschoben" werden kann, um unsere Punkte anzupassen. Das "Positionieren" dieser Linie (oder Ebene) durch entspricht dem Zentrieren im obigen algebraischen Argument. $n-1$ $\bar \x$

— Amöbe sagt Reinstate Monica
quelle