Ist eine Sample-Kovarianzmatrix immer symmetrisch und eindeutig positiv?

33

Wird dann bei der Berechnung der Kovarianzmatrix einer Stichprobe garantiert eine symmetrische und positiv definierte Matrix erhalten?

Derzeit hat mein Problem eine Stichprobe von 4600 Beobachtungsvektoren und 24 Dimensionen.

sampling covariance

— Morten
quelle

Zum Abtasten der Kovarianzmatrix verwende ich die Formel: wobei die Anzahl der Stichproben und der Stichprobenmittelwert ist.

Q_{n} = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤}

$Q_n = \frac{1}{n} \sum\limits_{i=1}^n (x_i-\bar{x})(x_i-\bar{x})^\top$

n

$n$

\bar{x}

$\bar{x}$

— Morten

4

Dies wird normalerweise als "Berechnen der Kovarianzmatrix" oder "Schätzen der Kovarianzmatrix" und nicht als "Abtasten der Kovarianzmatrix" bezeichnet.

— Glen_b -Reinstate Monica

1

Eine häufige Situation, in der die Kovarianzmatrix nicht eindeutig ist, besteht darin, dass die 24 "Dimensionen" die Zusammensetzung einer Mischung aufzeichnen, die sich zu 100% summiert.

— Whuber

41

Für eine Stichprobe von Vektoren mit ist der Stichprobenmittelwertvektor und die Beispiel-Kovarianzmatrix ist Für einen Vektor ungleich Null haben wir Daher ist immer positiv semidefinit . $x_i=(x_{i1},\dots,x_{ik})^\top$ $i=1,\dots,n$

\bar{x} = \frac{1}{n} \sum_{i = 1}^{n} x_{i},

$\bar{x}=\frac{1}{n} \sum_{i=1}^n x_i \, ,$

Q = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤} .

$Q = \frac{1}{n} \sum_{i=1}^n (x_i-\bar{x})(x_i-\bar{x})^\top \, .$

y \in R^{k}

$y\in\mathbb{R}^k$

y^{⊤} Q y = y^{⊤} (\frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤}) y

$y^\top Qy = y^\top\left(\frac{1}{n} \sum_{i=1}^n (x_i-\bar{x})(x_i-\bar{x})^\top\right) y$

= \frac{1}{n} \sum_{i = 1}^{n} y^{⊤} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤} y

$= \frac{1}{n} \sum_{i=1}^n y^\top (x_i-\bar{x})(x_i-\bar{x})^\top y$

= \frac{1}{n} \sum_{i = 1}^{n} {((x_{i} - \bar{x})^{⊤} y)}^{2} \geq 0 . (*)

$= \frac{1}{n} \sum_{i=1}^n \left( (x_i-\bar{x})^\top y \right)^2 \geq 0 \, . \quad (*)$

Q

$Q$

Die zusätzliche Bedingung für als positiv bestimmt wurde in Whubers Kommentar unten angegeben. Es geht wie folgt. $Q$

Definiere für . Für jedes ungleich Null ist genau dann Null, wenn , für jedes . Angenommen, die Menge umfasst . Dann gibt es reelle Zahlen so dass . Aber dann haben wir , was ergibt, dass , ein Widerspruch. Wenn also die Spanne von , dann ist $z_i=(x_i-\bar{x})$ $i=1,\dots,n$ $y\in\mathbb{R}^k$ $(*)$ $z_i^\top y=0$ $i=1,\dots,n$ $\{z_1,\dots,z_n\}$ $\mathbb{R}^k$ $\alpha_1,\dots,\alpha_n$ $y=\alpha_1 z_1 +\dots+\alpha_n z_n$ $y^\top y=\alpha_1 z_1^\top y + \dots +\alpha_n z_n^\top y=0$ $y=0$ $z_i$ $\mathbb{R}^k$ $Q$ ist positiv definitiv . Diese Bedingung entspricht . $\mathrm{rank} [z_1 \dots z_n] = k$

— Zen
quelle

2

Ich mag diesen Ansatz, würde aber einige Vorsicht raten: ist nicht unbedingt positiv bestimmt. Die (notwendigen und ausreichenden) Bedingungen dafür sind in meinem Kommentar zu Konstantins Antwort beschrieben.

Q

$Q$

— Whuber

1

Da der Rang von kleiner oder gleich , kann die Bedingung vereinfacht werden, dass der Rang gleich k ist.

[z_{1}, z_{2}, \dots, z_{n}]

$[z_1, z_2, \cdots, z_n]$

k

$k$

— Ein Angebot kann den

13

Eine korrekte Kovarianzmatrix ist immer symmetrisch und positiv * semi * definit.

Die Kovarianz zwischen zwei Variablen wird als . $\sigma(x,y) = E [(x-E(x))(y-E(y))]$

Diese Gleichung ändert sich nicht, wenn Sie die Positionen von und . Daher muss die Matrix symmetrisch sein. $x$ $y$

Es muss auch positiv * semi- * bestimmt sein, weil:

Sie können eine Transformation Ihrer Variablen immer so finden, dass die Kovarianzmatrix diagonal wird. Auf der Diagonale finden Sie die Varianzen Ihrer transformierten Variablen, die entweder Null oder positiv sind. Es ist leicht zu erkennen, dass die transformierte Matrix dadurch positiv semidefinit wird. Da die Definitionsdefinition jedoch transformationsinvariant ist, folgt daraus, dass die Kovarianzmatrix in jedem gewählten Koordinatensystem positiv semidefinit ist.

Wenn Sie Ihre Kovarianzmatrix (d. H., Wenn Sie Ihre Beispielkovarianz berechnen ) mit der oben angegebenen Formel schätzen , wird dies offensichtlich. immer noch symmetrisch sein. Es muss auch positiv semidefinit sein (glaube ich), da für jedes Sample das PDF , das jedem Samplepunkt die gleiche Wahrscheinlichkeit gibt, die Sample-Kovarianz als seine Kovarianz hat (jemand überprüft dies bitte), so dass alles, was oben angegeben wurde, weiterhin gilt.

— Konstantin Schubert
quelle

1

PS: Ich fange an zu denken, dass dies nicht Ihre Frage war ...

— Konstantin Schubert

Wenn Sie jedoch wissen möchten, ob Ihr Abtastalgorithmus dies garantiert, müssen Sie angeben, wie Sie die Abtastung durchführen.

— Konstantin Schubert

1

Morten, die Symmetrie ergibt sich unmittelbar aus der Formel. Um die , müssen Sie für jeden Vektor . Aber ist mal eine Summe von (wobei , eine Summe von = ist ist die quadratische Länge des Vektors . Da und eine Summe von Quadraten niemals negativ sein können, ist , QED . Dies zeigt auch, dass genau für diese Vektoren

u Q_{n} u^{'} \geq 0

$uQ_nu'\ge 0$

u

$u$

Q_{n}

$Q_n$

1 / n

$1/n$

v_{i} v_{i}^{'}

$v_iv_i'$

v_{i} = x_{i} - \bar{x})

$v_i=x_i-\bar{x})$

n u Q_{n} u^{'}

$n uQ_nu'$

u (v_{i} v_{i}^{'}) u^{'}

$u(v_iv_i')u'$

(u v_{i}) (u v_{i})^{'}

$(uv_i)(uv_i)'$

u v_{i}

$uv_i$

n > 0

$n\gt 0$

u Q_{n} u^{'} \geq 0

$uQ_nu'\ge 0$

u Q_{n} u^{'} = 0

$uQ_nu'=0$

u

$u$ die allen orthogonal sind ( dh , für alle ). Wenn die Spanne ist, dann ist und ist definitiv.

v_{i}

$v_i$

u v_{i} = 0

$uv_i=0$

i

$i$

v_{i}

$v_i$

u = 0

$u=0$

Q_{n}

$Q_n$

— Whuber

1

@Morten Die Transformationsinvarianz ist ziemlich klar, wenn man eine Matrixmultiplikation geometrisch versteht. Stellen Sie sich Ihren Vektor als Pfeil vor. Die Zahlen, die Ihren Vektor beschreiben, ändern sich mit dem Koordinatensystem, die Richtung und Länge Ihres Vektors jedoch nicht. Eine Multiplikation mit einer Matrix bedeutet nun, dass Sie die Länge und Richtung dieses Pfeils ändern, der Effekt ist jedoch geometrisch in jedem Koordinatensystem gleich. Dasselbe gilt für ein Skalarprodukt: Es ist geometrisch definiert und die Geometrie ist transformationsinvariant. Ihre Gleichung hat also in allen Systemen das gleiche Ergebnis.

— Konstantin Schubert

1

@Morten Wenn Sie in Koordinaten denken, lautet das Argument folgendermaßen: Wenn Ihre Transformationsmatrix ist, dann gilt: mit als transformiertem Koordinatenvektor, , also, wenn Sie jedes Element in transformieren Mit der Gleichung erhält man , was gleich , und weil A orthogonal ist, ist die Einheitsmatrix und wir erhalten wieder , was bedeutet, dass die transformierte und die nicht transformierte Gleichung den gleichen Skalar als Ergebnis haben, so dass beide oder beide nicht größer als Null sind.

A

$A$

v^{'} = A v

$v'=Av$

v^{'}

$v'$

M^{'} = A M A^{T}

$M'=AMA^T$

v^{T} M v > 0

$v^T M v > 0$

v^{' T} M^{'} v^{'} = (A v)^{T} A M A^{T} A v > 0

$v'^T M' v' = (Av)^T A M A^T A v > 0$

v^{T} A^{T} A M A^{T} A v > 0

$v^T A^T A M A^T A v > 0$

A^{T} A

$A^T A$

v^{T} M v > 0

$v^T M v > 0$

— Konstantin Schubert

0

Varianz-Kovarianz-Matrizen sind immer symmetrisch, wie aus der tatsächlichen Gleichung hervorgeht, um jeden Term dieser Matrix zu berechnen.

Außerdem sind Varianz-Kovarianz-Matrizen immer quadratische Matrizen der Größe n, wobei n die Anzahl der Variablen in Ihrem Experiment ist.

Eigenvektoren symmetrischer Matrizen sind immer orthogonal.

Mit PCA bestimmen Sie die Eigenwerte der Matrix, um festzustellen, ob Sie die Anzahl der in Ihrem Experiment verwendeten Variablen verringern können.

— GEN
quelle

1

Willkommen, Gen. Beachten Sie, dass Ihr Benutzername, Ihr Identicon und ein Link zu Ihrer Benutzerseite automatisch zu jedem von Ihnen verfassten Beitrag hinzugefügt werden, sodass Sie Ihre Beiträge nicht signieren müssen.

— Antoine Vernet

3

Diese Antwort könnte verbessert werden, indem das Problem der positiven Bestimmtheit

— Silverfish

Dies beantwortet die Frage nicht wirklich: Es handelt sich nur um eine Sammlung nicht unterstützter Aussagen, die möglicherweise relevant sind oder nicht. Könnten Sie es so umformulieren, dass die Beantwortung der Frage und die Begründung erklärt werden ?

— Whuber

0

Ich möchte dem netten Argument von Zen das Folgende hinzufügen, das erklärt, warum wir oft sagen, dass die Kovarianzmatrix positiv bestimmt ist, wenn . $n-1\geq k$

Wenn eine Zufallsstichprobe einer kontinuierlichen Wahrscheinlichkeitsverteilung sind, dann sind (im Sinne der Wahrscheinlichkeitstheorie) fast sicher linear unabhängig. Nun sind nicht linear unabhängig, weil , sondern weil so linear unabhängig ist, als span . Wenn , dann überspannen sie auch . $x_1,x_2,...,x_n$ $x_1,x_2,...,x_n$ $z_1,z_2,...,z_n$ $\sum_{i=1}^n z_i = 0$ $x_1,x_2,...,x_n$ $z_1,z_2,...,z_n$ $\mathbb{R}^{n-1}$ $n-1\geq k$ $\mathbb{R}^k$

Um zu schließen, wenn eine Zufallsstichprobe einer kontinuierlichen Wahrscheinlichkeitsverteilung und , ist die Kovarianzmatrix positiv bestimmt. $x_1,x_2,...,x_n$ $n-1\geq k$

— Giominas
quelle

0

Für diejenigen mit einem nicht-mathematischen Hintergrund wie ich, die die abstrakten mathematischen Formeln nicht schnell verstehen, ist dies ein ausgearbeitetes Beispiel für die am besten bewertete Antwort. Die Kovarianzmatrix kann auch auf andere Weise abgeleitet werden.

— Parikshit Bhinde
quelle

Können Sie erklären, wie diese Tabelle die positive Definitivität der Kovarianzmatrix demonstriert?

— whuber

Es tut nicht. Es fiel mir schwer, die Kovarianzmatrix in ihrer Notationsform selbst zu visualisieren. Also habe ich dieses Blatt für mich erstellt und dachte, es könnte jemandem helfen.

— Parikshit Bhinde

Bearbeiten Sie es anschließend, um eine Antwort auf die Frage zu erhalten.

— Whuber

Fertig :) Danke für den Vorschlag.

— Parikshit Bhinde

Die Frage ist: "Wird man dann garantiert eine symmetrische und positiv-definite Matrix bekommen?" Ich kann kein Element Ihres Beitrags erkennen, das dies anspricht, weil (1) es niemals eine Kovarianzmatrix identifiziert; (2) es zeigt keine positive Bestimmtheit von irgendetwas.

— Whuber