Vervollständigung einer 3x3-Korrelationsmatrix: Zwei Koeffizienten der drei angegebenen

20

Diese Frage wurde mir in einem Interview gestellt.

Nehmen wir an, wir haben eine Korrelationsmatrix der Form

[\begin{matrix} 1 & 0,6 & 0.8 \\ 0,6 & 1 & γ \\ 0.8 & γ & 1 \end{matrix}]

$\begin{bmatrix}1&0.6&0.8\\0.6&1&\gamma\\0.8&\gamma&1\end{bmatrix}$

Angesichts dieser Korrelationsmatrix wurde ich gebeten, den Wert von Gamma zu ermitteln.
Ich dachte, ich könnte etwas mit den Eigenwerten anfangen, da sie alle größer oder gleich 0 sein sollten. (Matrix sollte positiv semidefinit sein) - aber ich glaube nicht, dass dieser Ansatz die Antwort liefert. Mir fehlt ein Trick.

Könnten Sie uns bitte einen Lösungshinweis geben?

pearson-r correlation-matrix

— Anfänger
quelle

Kommentare sind nicht für eine längere Diskussion gedacht. Diese Unterhaltung wurde in den Chat verschoben .

— Whuber

1

Eine Suche auf dieser Site führte direkt zu einem von (mehreren) Threads mit relevanten Formeln: stats.stackexchange.com/questions/5747 . In der Antwort von felix s finden sich auch einige nützliche Erklärungen .

— Whuber

21

Wir wissen bereits, dass zwischen Die Korrelationsmatrix sollte positiv und semidefinit sein, und daher sollten ihre Hauptminderheiten nicht negativ sein $\gamma$ $[-1,1]$

Somit ist

\begin{aligned} 1 (1 - γ^{2}) - 0.6 (0.6 - 0.8 γ) + 0.8 (0.6 γ - 0.8) & \geq 0 \\ - γ^{2} + 0.96 γ \geq 0 \\ ⟹ γ (γ - 0.96) \leq 0 and - 1 \leq γ \leq 1 \\ ⟹ 0 \leq γ \leq 0.96 \end{aligned}

$\begin{align*} 1(1-\gamma^2)-0.6(0.6-0.8\gamma)+0.8(0.6\gamma-0.8) &\geq 0\\ -\gamma^2+0.96\gamma \geq 0\\ \implies \gamma(\gamma-0.96) \leq 0 \text{ and } -1 \leq \gamma \leq 1 \\ \implies 0 \leq \gamma \leq 0.96 \end{align*}$

— rechtekewed
quelle

4

@novice Vielleicht möchten Sie etwas über Sylvesters Kriterium

— am

Gute Antwort. Ich möchte Folgendes hinzufügen: Der gängige Weg, Gamma zu erhalten, besteht darin, zu versuchen, das Gamma zu finden, das zur Korrelationsmatrix der kleinsten möglichen Kernnorm (auch bekannt als Ky-Fan-Norm) führt, während die obigen Gleichungen gelöst werden. Weitere Informationen finden Sie in den Abschnitten "Matrixvervollständigung", " Druckmessung " oder in diesem Bericht zum Thema bit.ly/2iwY1nW .

— Mustafa S Eisa

1

Um dies zu beweisen, benötigen Sie ein Ergebnis in die andere Richtung: Wenn alle nichttrivialen führenden Minderjährigen

und die Matrix eine Determinante

, ist die Matrix positiv semidefinit.

> 0

$>0$

\geq 0

$\geq 0$

— Federico Poloni

10

Hier ist eine einfachere (und vielleicht intuitivere) Lösung:

Stellen Sie sich die Kovarianz als ein inneres Produkt über einem abstrakten Vektorraum vor . Dann werden die Einträge in der Korrelationsmatrix für die Vektoren , , , wobei die Eckwinkel den bezeichneten Winkel zwischen und . $\cos\langle\mathbf{v}_i,\mathbf{v}_j\rangle$ $\mathbf{v}_1$ $\mathbf{v}_2$ $\mathbf{v}_3$ $\langle\mathbf{v}_i,\mathbf{v}_j\rangle$ $\mathbf{v}_i$ $\mathbf{v}_j$

Es ist nicht schwer zu visualisieren , dass begrenzt ist durch . Die gebundene auf seiner Cosinus ( ) ist also . Grundlegende Trigonometrie ergibt dann $\langle\mathbf{v}_2,\mathbf{v}_3\rangle$ $|\langle\mathbf{v}_1,\mathbf{v}_2\rangle\pm\langle\mathbf{v}_1,\mathbf{v}_3\rangle|$ $\gamma$ $\cos\left[\langle\mathbf{v}_1,\mathbf{v}_2\rangle\pm\langle\mathbf{v}_1,\mathbf{v}_3\rangle\right]$ . $\gamma\in[0.6\times 0.8 - 0.6\times 0.8, 0.6\times 0.8 + 0.6\times 0.8] = [0, 0.96]$

Edit: Beachten Sie, dass die in der letzten Zeile ist wirklich - das zweite Auftreten von 0,6 und 0,8 erfolgt durch Zufall dank $0.6\times 0.8 \mp 0.6\times 0.8$ $\cos\langle\mathbf{v}_1,\mathbf{v}_2\rangle\cos\langle\mathbf{v}_1,\mathbf{v}_3\rangle\mp \sin\langle\mathbf{v}_1,\mathbf{v}_3\rangle\sin\langle\mathbf{v}_1,\mathbf{v}_2\rangle$ $0.6^2+0.8^2=1$ .

— yangle
quelle

1

+1, Eine legitime geometrische Argumentation (ich habe Ihre Berechnungen trotzdem nicht überprüft). Dies ist genau das, was ich in den Kommentaren zu der Frage vorgeschlagen habe (leider wurden alle Kommentare vom Moderator in den Chat verschoben, siehe den obigen Link).

— TTNPHNS

Mir scheint, Sie haben "bewiesen", dass alle Korrelationen nicht negativ sein dürfen, denn es scheint, dass Ihre Berechnung für die untere Grenze immer Null ergibt. Wenn dies nicht der Fall ist, können Sie dann erläutern, wie Ihre Berechnung im Allgemeinen funktioniert? Ich vertraue deiner Grenze wirklich nicht - oder verstehe sie vielleicht nicht -, weil du in drei oder mehr Dimensionen immer ein

findest, für das

und dann Ihre Schranke impliziert, dass

immer Null ist! (cc @ttnphns)

v_{1}

$v_1$

v_{1} \cdot v_{2} = v_{1} \cdot v_{3} = 0

$v_1\cdot v_2=v_1\cdot v_3=0$

v_{2} \cdot v_{3}

$v_2\cdot v_3$

— whuber

@whuber: Entschuldige die Verwirrung. Die Berechnung ergibt nicht immer Null für die Untergrenze. Ich habe meine Antwort geändert.

— Yangle

Wie reagieren Sie auf meine letzte Sorge? Es scheint darauf hinzudeuten, dass Ihre Grenzen falsch sind.

— Whuber

@whuber: In Ihrem Fall ist ⟨v1, v2⟩ = ⟨v1, v3⟩ = π / 2, daher die Schranke | ⟨v1, v2⟩ ± ⟨v1, v3⟩ | ist wie erwartet [0, π]. Der gebundene cos⟨v1, v2⟩cos⟩v1, v3⟩∓sin⟨v1, v3⟩sin⟨v1, v2⟩ auf γ ist ebenfalls [-1, 1].

— Yangle

4

Hier ist, was ich in meinem ersten Kommentar zur Antwort gemeint habe und worüber ich @yangle als sprechend empfinde (obwohl ich deren Berechnung nicht verfolgt / überprüft habe).

"Matrix sollte positiv semidefinit sein" impliziert, dass die variablen Vektoren eine Menge im euklidischen Raum sind. Der Fall der Korrelationsmatrix ist einfacher als die Kovarianzmatrix, da die drei Vektorlängen auf 1 festgelegt sind. Stellen Sie sich 3 Einheitsvektoren XYZ vor und denken Sie daran, dass der Kosinus des Winkels ist . So , und . Was könnten die Grenzen für ? $r$ $\cos \alpha=r_{xy}=0.6$ $\cos \beta=r_{yz}=0.8$ $\cos \gamma=r_{xz}$ ? Diese Korrelation kann jeden Wert annehmen, der durch Z definiert ist, das um Y umschreibt (wobei der Winkel beibehalten wird): $r_{yz}=0.8$

Während des Drehens sind zwei Positionen als endgültig für X bemerkenswert. Beide sind, wenn Z in die Ebene XY fällt. Einer liegt zwischen X und Y und der andere befindet sich auf der gegenüberliegenden Seite von Y. Diese sind durch blaue und rote Vektoren dargestellt. An diesen beiden Positionen ist genau die Konfiguration XYZ (Korrelationsmatrix) singulär. Und dies sind der minimale und maximale Winkel (daher Korrelation), den Z für X erreichen kann.

Wenn Sie die trigonometrische Formel auswählen, um die Summe oder die Winkeldifferenz in einer Ebene zu berechnen, haben Sie folgende Möglichkeiten:

als Grenzen. $\cos \gamma = r_{xy} r_{yz} \mp \sqrt{(1-r_{xy}^2)(1-r_{yz}^2)} = [0,0.96]$

Diese geometrische Ansicht ist nur eine andere (und in 3D eine spezielle und einfachere) Betrachtung dessen, was @rightskewed in algebraischen Begriffen ausdrückt (Minderjährige usw.).

— ttnphns
quelle

Wenn X, Y, Z Zufallsvariablen sind, wie ordnen Sie sie Vektoren im 3D-Raum zu (sie können nur Vektoren im 1D-Raum sein)? Auch wenn die RVs Nx1 sind, dann sind sie Vektoren im N-dimensionalen Raum?

— Anfänger

@novice Ja, es sind anfänglich 3 Vektoren im Nd-Raum, aber nur 3 Dimensionen sind nicht redundant. Bitte folgen Sie dem 2. Link in der Antwort und lesen Sie dort den weiteren Verweis auf den Themenbereich, in dem er erklärt wird.

— TTNPHNS

4

Das Herumspielen mit Hauptminderjährigen mag bei 3 mal 3 oder vielleicht 4 mal 4 Problemen in Ordnung sein, aber in höheren Dimensionen geht das Benzin und die numerische Stabilität aus.

Für ein einzelnes "freies" Parameterproblem wie dieses ist leicht zu erkennen, dass die Menge aller Werte, die die Matrix psd bilden, ein einzelnes Intervall ist. Daher ist es ausreichend, die minimalen und maximalen Werte zu finden. Dies kann leicht durch numerisches Lösen zweier linearer SemiDefinite Programming (SDP) -Probleme erreicht werden:

minimiere γ abhängig von der Matrix ist psd.
maximiere γ abhängig von der Matrix ist psd.

Beispielsweise können diese Probleme mit YALMIP unter MATLAB formuliert und numerisch gelöst werden.

gamma = sdpvar; A = [1,6,8; 6,1 gamma; 0,8 gamma 1]; optimieren (A> = 0, Gamma)
optimieren (A> = 0, -gamma)

Schnell, einfach und zuverlässig.

Übrigens, wenn der Interviewer von Smarty Pants, der die Frage stellt, nicht weiß, dass SemiDefinite Programming, das ausgereifte und einfach zu verwendende numerische Optimierer zum zuverlässigen Lösen praktischer Probleme enthält, zur Lösung dieses Problems verwendet werden kann, und vieles mehr In schwierigen Varianten sagen Sie ihm, dass dies nicht mehr das Jahr 1870 ist und es an der Zeit ist, moderne rechnerische Entwicklungen zu nutzen.

— Mark L. Stone
quelle

4

Betrachten wir die folgende konvexe Menge

{(x, y, z) \in R^{3} : [\begin{matrix} 1 & x & y \\ x & 1 & z \\ y & z & 1 \end{matrix}] ⪰ O_{3}}

$\Bigg\{ (x,y,z) \in \mathbb R^3 : \begin{bmatrix} 1 & x & y\\ x & 1 & z\\ y & z & 1\end{bmatrix} \succeq \mathrm O_3 \Bigg\}$

$3$

$x=0.6$ $y=0.8$

Die Grenze des Elliptops ist eine kubische Fläche, definiert durch

det [\begin{matrix} 1 & x & y \\ x & 1 & z \\ y & z & 1 \end{matrix}] = 1 + 2 x y z - x^{2} - y^{2} - z^{2} = 0

$\det \begin{bmatrix} 1 & x & y\\ x & 1 & z\\ y & z & 1\end{bmatrix} = 1 + 2 x y z - x^2 - y^2 - z^2 = 0$

$x=0.6$ $y=0.8$

0,96 z - z^{2} = z (0,96 - z) = 0

$0.96 z - z^2 = z (0.96 - z) = 0$

Der Schnittpunkt des Elliptops mit den beiden Ebenen ist also das durch parametrisierte Liniensegment

{(0,6, 0.8, t) ∣ 0 \leq t \leq 0,96}

$\{ (0.6, 0.8, t) \mid 0 \leq t \leq 0.96 \}$

— Rodrigo de Azevedo
quelle

1

Jede positive semi-definite Matrix ist eine Korrelations- / Kovarianzmatrix (und umgekehrt).

$A$ $A$ $A=UDU^T$ $U$ $D$ $B= U D^{1/2} U^T$ $D^{1/2}$

$\mathbf{x}$ $B \mathbf{x}$ $A$

$R=E[\mathbf{x}\mathbf{x}^T]$ $R = R^T$ $\mathbf{a}^T R \mathbf{a} = E[(\mathbf{a}^T \mathbf{x})^2] \geq 0$ $\mathbf{a}$ $R$

$2^n$ $n$

— Batman
quelle