Wie kann man eine positive Matrix eindeutig definieren?

Ich versuche, einen EM-Algorithmus für das folgende Faktoranalysemodell zu implementieren.

W_{j} = μ + B a_{j} + e_{j} for j = 1, \dots, n

$W_j = \mu+B a_j+e_j \quad\text{for}\quad j=1,\ldots,n$

wobei ein p-dimensionaler Zufallsvektor ist, ein q-dimensionaler Vektor latenter Variablen ist und eine pxq-Matrix von Parametern ist. $W_j$ $a_j$ $B$

Aufgrund anderer für das Modell verwendeter Annahmen weiß ich, dass wobei die Varianz-Kovarianzmatrix der Fehlerterme , = diag ( , , ..., ). $W_j\sim N(\mu, BB'+D)$ $D$ $e_j$ $D$ $\sigma_1^2$ $\sigma_2^2$ $\sigma_p^2$

Für den EM - Algorithmus zu arbeiten, mache ich Kuppel Iterationen die Schätzung von und Matrizen und während dieser Iterationen mir Berechnung die Inverse von bei jeder Iteration neue Schätzungen der Verwendung von und . Leider verliert im Verlauf der Iterationen seine positive Bestimmtheit (dies sollte jedoch nicht der Fall sein, da es sich um eine Varianz-Kovarianz-Matrix handelt), und diese Situation ruiniert die Konvergenz des Algorithmus. Meine Fragen sind: $B$ $D$ $BB'+D$ $B$ $D$ $BB'+D$

Zeigt diese Situation, dass mit meinem Algorithmus etwas nicht stimmt, da die Wahrscheinlichkeit mit jedem Schritt der EM zunehmen sollte?
Was sind die praktischen Möglichkeiten, um eine Matrix positiv zu definieren?

Bearbeiten: Ich berechne die Inverse mit einem Matrix-Inversions-Lemma, das besagt:

(B B^{'} + D)^{- 1} = D^{- 1} - D^{- 1} B (I_{q} + B^{'} D^{- 1} B)^{- 1} B^{'} D^{- 1}

$(BB'+D)^{-1}=D^{-1}-D^{-1}B (I_q+B'D^{-1}B)^{-1} B'D^{-1}$

wobei die rechte Seite nur die Inversen von Matrizen beinhaltet. $q\times q$

factor-analysis expectation-maximization

— Andy Amos
quelle

Es könnte helfen, besser zu verstehen, wie

seine positive Bestimmtheit "verliert". Dies impliziert, dass entweder

oder

(oder beide) nicht positiv definit werden. Dies ist schwierig, wenn

direkt aus

berechnet wird, und noch schwieriger, wenn

als Diagonalmatrix mit Quadraten auf der Diagonale berechnet wird!

B B^{'} + D

$BB'+D$

B B^{'}

$BB'$

D

$D$

B B^{'}

$BB'$

B

$B$

D

$D$

— whuber

@whuber Typischerweise in FA

, also ist

niemals positiv definitiv. Aber (theoretisch) sollte

sein, vorausgesetzt, dass die

' s alle größer als Null sind.

q < p

$q<p$

B B^{'}

$BB'$

B B^{'} + D

$BB' + D$

σ_{j}^{2}

$\sigma^2_j$

— JMS

Dies hängt mit dieser Frage zusammen: stats.stackexchange.com/questions/6364/…

— Gilead

@JMS Danke. Ich denke, mein Kommentar ist immer noch relevant:

kann unbestimmt sein, sollte aber immer noch keine negativen Eigenwerte haben. Probleme treten jedoch auf, wenn das kleinste von

mit einem numerischen Fehler im Inversionsalgorithmus vergleichbar ist. Wenn dies der Fall ist, besteht eine Lösung darin, SVD auf

anzuwenden und die wirklich kleinen (oder negativen) Eigenwerte auf Null zu setzen, dann

berechnen und

addieren .

B B^{'}

$BB'$

σ_{i}^{2}

$\sigma_i^2$

B B^{'}

$BB'$

B B^{'}

$BB'$

D

$D$

— whuber

D

$D$

I_{q} + B^{'} D^{- 1} B

$I_q + B'D^{-1}B$

q < p

$q<p$

$B$ $q$ $q<p$

$A^{-1}b$ $Ax=b$

$D$ $BB'$ $D$ $D$ $BB'+D$ $D$

$\sigma^2_i$ $D$

$BB'+D$

— JMS
quelle

Lassen Sie mich zweitens sagen, dass Sie im Hauptteil der Algorithmen niemals eine Matrix invertieren möchten. Möglicherweise müssen Sie ganz am Ende die Standardschätzungen abrufen. Siehe diesen Blog-Beitrag johndcook.com/blog/2010/01/19/dont-invert-that-matrix

— Samsdram

Die Werte der D-Matrix werden mit zunehmender Anzahl von Iterationen kleiner. Vielleicht ist dies das Problem, wie Sie betont haben.

— Andy Amos

B B^{'}

$BB'$

D

$D$

σ_{i}^{2}

$\sigma_i^2$

\sum_{q} B_{i q}^{2} \approx σ_{i}^{2}

$\sum_q B_{iq}^2 \approx \sigma_i^2$

— JMS