Vielleicht können wir durch Vereinfachung der Notation die wesentlichen Ideen hervorheben. Es stellt sich heraus, dass wir keine Erwartungen oder komplizierten Formeln benötigen, da alles rein algebraisch ist.
Die algebraische Natur der mathematischen Objekte
Die Frage betrifft Beziehungen zwischen (1) der Kovarianzmatrix einer endlichen Menge von Zufallsvariablen und (2) linearen Beziehungen zwischen diesen Variablen, die als Vektoren betrachtet werden .X1,…,Xn
Der fragliche Vektorraum ist die Menge aller Zufallsvariablen mit endlicher Varianz (auf einem gegebenen Wahrscheinlichkeitsraum ) modulo der Unterraum von fast sicher konstanten Variablen, bezeichnet als (Das heißt, wir betrachten zwei Zufallsvariablen und als denselben Vektor, wenn keine Wahrscheinlichkeit besteht, dass von seiner Erwartung abweicht.) Wir haben es nur mit dem endlichdimensionalen Vektor zu tun Der vom erzeugte Raum macht dies eher zu einem algebraischen als zu einem analytischen Problem.L 2 ( Ω , P ) / R . X Y X - Y V X i ,(Ω,P)L2(Ω,P)/R.XYX−YVXi,
Was wir über Abweichungen wissen müssen
V ist mehr als nur ein Vektorraum: Es ist ein quadratisches Modul, weil es mit der Varianz ausgestattet ist. Alles, was wir über Abweichungen wissen müssen, sind zwei Dinge:
Die Varianz ist eine skalarwertige Funktion mit der Eigenschaft, dass für alle VektorenQ ( a X ) = ein 2 Q ( X ) X .QQ(aX)=a2Q(X)X.
Die Varianz ist nicht entartet.
Der zweite bedarf einer Erklärung. bestimmt ein "Punktprodukt", das eine symmetrische bilineare Form ist, die durch gegeben istQ
X⋅Y=14(Q(X+Y)−Q(X−Y)).
(Dies ist natürlich nichts anderes als die Kovarianz der Variablen und ) Die Vektoren und sind orthogonal, wenn ihr Punktprodukt ist Das orthogonale Komplement einer beliebigen Menge von Vektoren besteht aus allen orthogonalen Vektoren zu jedem Element von geschriebenY . X Y 0. A ⊂ V A ,XY.XY0.A⊂VA,
A0={v∈V∣a.v=0 for all v∈V}.
Es ist eindeutig ein Vektorraum. Wenn , ist nicht entartet.Q.V0={0}Q
Lassen Sie mich beweisen, dass die Varianz tatsächlich nicht entartet ist, auch wenn dies offensichtlich erscheint. Angenommen, ist ein Element ungleich Null von Dies bedeutet für allegleichwertigV 0 . X ≤ Y = 0 Y ≤ V ;XV0.X⋅Y=0Y∈V;
Q(X+Y)=Q(X−Y)
für alle Vektoren Wenn man ergibt sichY = X.Y.Y=X
4Q(X)=Q(2X)=Q(X+X)=Q(X−X)=Q(0)=0
und somit ist Wir wissen jedoch (vielleicht unter Verwendung von Chebyshevs Ungleichung), dass die einzigen Zufallsvariablen mit einer Varianz von Null fast sicher konstant sind, was sie mit dem Nullvektor in QED identifiziert .V ,Q(X)=0.V,
Die Fragen interpretieren
Zurück zu den Fragen: In der vorhergehenden Notation ist die Kovarianzmatrix der Zufallsvariablen nur ein reguläres Array aller ihrer Punktprodukte.
T=(Xi⋅Xj).
Es gibt eine gute Möglichkeit, über nachzudenken : Es definiert eine lineare Transformation für auf die übliche Weise, indem ein beliebiger Vektor in den Vektor dessen -Komponente durch die Matrixmultiplikationsregel gegeben istR n x = ( x 1 , … , x n ) ∈ R n T ( x ) = y = ( y 1 , … , x n ) i thTRnx=(x1,…,xn)∈RnT(x)=y=(y1,…,xn)ith
yi=∑j=1n(Xi⋅Xj)xj.
Der Kern dieser linearen Transformation ist der Unterraum, den er an Null sendet:
Ker(T)={x∈Rn∣T(x)=0}.
Die vorstehende Gleichung impliziert, dass wenn für jedesix∈Ker(T),i
0=yi=∑j=1n(Xi⋅Xj)xj=Xi⋅(∑jxjXj).
Da dies für jedes gilt es für alle vom aufgespannten Vektoren : nämlich selbst. Wenn also der durch gegebene Vektor in Da die Varianz nicht entartet ist, bedeutet dies Das heißt, beschreibt eine lineare Abhängigkeit zwischen den ursprünglichen Zufallsvariablen.i,XiVx∈Ker(T),∑jxjXjV0.∑jxjXj=0.xn
Sie können leicht überprüfen, ob diese Argumentationskette umkehrbar ist:
Lineare Abhängigkeiten zwischen als Vektoren stehen in Eins-zu-Eins-Entsprechung mit Elementen des Kernels vonXj T.
(Denken Sie daran, dass diese Anweisung das als bis zu einer konstanten Ortsverschiebung definiert betrachtet, als Elemente von anstatt als as nur Zufallsvariablen.)XjL2(Ω,P)/R
Schließlich ist per Definition ein Eigenwert von ein beliebiger Skalar für den ein Vektor ungleich Null mit Wenn ein Eigenwert ist, ist der Raum der zugehörigen Eigenvektoren (offensichtlich) der Kern vonTλxT(x)=λx.λ=0T.
Zusammenfassung
Wir haben die Antwort auf die Fragen gefunden: Die Menge der linearen Abhängigkeiten der Zufallsvariablen, qua Elemente von entspricht eins zu eins mit der Kern ihrer Kovarianzmatrix Dies liegt daran, dass die Varianz eine nicht entartete quadratische Form ist. Der Kernel ist auch der Eigenraum, der dem Null-Eigenwert zugeordnet ist (oder nur der Null-Unterraum, wenn kein Null-Eigenwert vorhanden ist).L2(Ω,P)/R,T.
Referenz
Ich habe die Notation und einen Teil der Sprache von Kapitel IV in weitgehend übernommen
Jean-Pierre Serre, Ein Kurs in Arithmetik. Springer-Verlag 1973.