Was ist der Hauptunterraum in der probabilistischen PCA?

Wenn $X$ eine beobachtete Datenmatrix ist und $Y$ eine latente Variable ist, dann

X = W Y + μ + ϵ

$X=WY+\mu+\epsilon$

Wobei $\mu$ der Mittelwert der beobachteten Daten ist und $\epsilon$ der Gaußsche Fehler / Rauschen in Daten ist und $W$ als Hauptunterraum bezeichnet wird.

Meine Frage ist, wenn normale PCA verwendet wird, würden wir einen Satz orthonormaler Eigenvektoren $E$ für die Folgendes gilt

Y = E X

$Y=EX$

In PPCA ist $W$ jedoch weder orthonormal noch Eigenvektor. Wie kann ich Hauptkomponenten von $W$ ?

Meinem Instinkt folgend suchte ich in MATLAB nach ppca , wo ich auf diese Zeile stieß:

Bei der Konvergenz überspannen die Spalten von W den Unterraum, sind jedoch nicht orthonormal. ppca erhält die orthonormalen Koeffizienten Koeffizient für die Komponenten durch Orthogonalisierung von W.

Ich habe den ppca-Code ein wenig geändert, um das W zu erhalten , habe es ausgeführt und nach der Orthogonalisierung habe ich P von W erhalten .

Warum ergab diese Orthogonalisierung Eigenvektoren, entlang derer der größte Teil der Varianz sichtbar wird?

Ich gehe davon aus, dass die Orthogonalisierung mir eine Reihe von orthogonalen / orthonormalen Vektoren gibt, die den Hauptunterraum überspannen, aber warum ist diese orthogonalisierte resultierende Matrix gleich der Eigenmatrix (ich weiß, dass die Eigenmatrix in pca auch orthonormal ist)? Kann ich annehmen, dass der Hauptunterraum nur von einem eindeutigen Satz orthonormaler Vektoren überspannt wird? In diesem Fall stimmen beide Ergebnisse immer überein.

— user3086871
quelle

Um meine Verwirrung zu beseitigen, habe ich genau überprüft, wo das W berechnet wird, und es einem neuen Ausgabeparameter namens prin_sub zugewiesen. Ich weiß, dass ppca W in SW zurückgibt, aber um ganz klar zu sein, habe ich das redundant gemacht. und in dem Dokument wurde ein Beispiel mit Daten 'hald' gegeben, ich habe ihren Code verwendet: P = orth (SW) auch @amoeba Ich habe meine anderen Fragen gelöscht.

— user3086871

Dies ist eine ausgezeichnete Frage.

Probabilistic PCA (PPCA) ist das folgende latente Variablenmodell wobei eine Beobachtung und eine latente ist variabler Vektor; normalerweise . Beachten Sie, dass sich dies von der Faktoranalyse nur in einem kleinen Detail unterscheidet: Die Fehlerkovarianzstruktur in PPCA ist und in FA ist es eine beliebige diagonale Matrix .

\begin{aligned} z & \sim N (0, I) \\ x & \sim N (W z + μ, σ^{2} I), \end{aligned}

$\begin{align} \mathbf z &\sim \mathcal N(\mathbf 0, \mathbf I) \\ \mathbf x &\sim \mathcal N(\mathbf W \mathbf z + \boldsymbol \mu, \sigma^2 \mathbf I), \end{align}$

x \in R^{p}

$\mathbf x\in\mathbb R^p$

z \in R^{q}

$\mathbf z\in\mathbb R^q$

q ≪ p

$q\ll p$

σ^{2} I

$\sigma^2 \mathbf I$

Ψ

$\boldsymbol \Psi$

Tipping & Bishop, 1999, Probabilistic Principal Component Analysis beweisen den folgenden Satz: Die Maximum-Likelihood-Lösung für PPCA kann analytisch erhalten werden und ist gegeben durch (Gleichung 7): wobei eine Matrix von führenden Hauptrichtungen (Eigenvektoren der Kovarianzmatrix) ist, ist die Diagonalmatrix der entsprechenden Eigenwerte, ist auch durch eine explizite Formel gegeben, und ist eine beliebige Rotationsmatrix (entsprechend Rotationen im latenten Raum).

W_{M L} = U_{q} (Λ_{q} - σ_{M L}^{2} I)^{1 / 2} R,

$\mathbf W_\mathrm{ML} = \mathbf U_q (\boldsymbol \Lambda_q - \sigma_\mathrm{ML}^2 \mathbf I)^{1/2} \mathbf R,$

U_{q}

$\mathbf U_q$

q

$q$

Λ_{q}

$\boldsymbol \Lambda_q$

σ_{M L}^{2}

$\sigma_\mathrm{ML}^2$

R

$\mathbf R$

q \times q

$q\times q$

Die ppca()Funktion implementiert einen Erwartungsmaximierungsalgorithmus, der zum Modell passt, aber wir wissen, dass er wie oben angegeben zum konvergieren muss . $\mathbf W_\mathrm{ML}$

Ihre Frage ist: wie man , wenn Sie wissen . $\mathbf U_q$ $\mathbf W_\mathrm{ML}$

Die Antwort ist, dass Sie einfach die Singularwertzerlegung von . Die obige Formel hat bereits die Form orthogonale Matrix mal diagonale Matrix mal orthogonale Matrix, ergibt also die SVD, und da sie eindeutig ist, erhalten Sie als linke Singularvektoren von . $\mathbf W_\mathrm{ML}$ $\mathbf U_q$ $\mathbf W_\mathrm{ML}$

Genau das macht Matlabs ppca()Funktion in Zeile 305:

% Orthogonalize W to the standard PCA subspace
[coeff,~] = svd(W,'econ');

Kann ich annehmen, dass der Hauptunterraum nur von einem eindeutigen Satz orthonormaler Vektoren überspannt wird?

Nein! Es gibt unendlich viele orthogonale Basen, die sich über denselben Hauptunterraum erstrecken. Wenn Sie einen beliebigen Orthogonalisierungsprozess auf anwenden , wird nicht garantiert, dass Sie . Aber wenn Sie SVD oder etwas Äquivalentes verwenden, wird es funktionieren. $\mathbf W_\mathrm{ML}$ $\mathbf U_q$

— Amöbe
quelle

Was für eine hervorragende Antwort! Du bist ziemlich großartig! Große Hilfe! Ich danke dir sehr. @amoeba

— user3086871