Eine Parallele zwischen LSA und pLSA

In der Originalarbeit von pLSA zeichnet der Autor Thomas Hoffman eine Parallele zwischen pLSA- und LSA-Datenstrukturen, die ich mit Ihnen diskutieren möchte.

Hintergrund:

Nehmen wir an, wir haben eine Sammlung von Dokumenten und ein Vokabular von Begriffen$N$

$$D = \lbrace d_1, d_2, ...., d_N \rbrace$$ $M$ $$\Omega = \lbrace \omega_1, \omega_2, ..., \omega_M \rbrace$$

Ein Korpus kann durch eine Matrix von Koexistenzen dargestellt werden.$X$$N \times M$

In der Latent Semantic Analisys by SVD wird die Matrix in drei Matrizen faktorisiert: wobei und die Singularwerte sind von und ist der Rang von .$X$

$$X = U \Sigma V^T$$ $\Sigma = diag \lbrace \sigma_1, ..., \sigma_s \rbrace$$\sigma_i$$X$$s$$X$

Die LSA-Näherung von wird dann berechnet, wobei die drei Matrizen auf ein Niveau , wie in der Abbildung gezeigt:$X$

$$\hat{X} = \hat{U}\hat{\Sigma}\hat{V^T}$$ $k < s$

Wählen Sie in pLSA einen festen Satz von Themen (latente Variablen) Die Näherung von wird berechnet als: wobei die drei Matrizen diejenigen sind, die die Wahrscheinlichkeit des Modells maximieren.$Z = \lbrace z_1, z_2, ..., z_Z \rbrace$$X$

$$X = [P(d_i | z_k)] \times [diag(P(z_k)] \times [P(f_j|z_k)]^T$$

Aktuelle Frage:

Der Autor gibt an, dass diese Beziehungen bestehen:

• $U = [P(d_i | z_k)]$
• $\hat{\Sigma} = [diag(P(z_k)]$
• $V = [P(f_j|z_k)]$

und dass der entscheidende Unterschied zwischen LSA und pLSA die Zielfunktion ist, die verwendet wird, um die optimale Zerlegung / Approximation zu bestimmen.

Ich bin mir nicht sicher, ob er Recht hat, da ich denke, dass die beiden Matrizen unterschiedliche Konzepte darstellen: In LSA ist es eine Annäherung an die Häufigkeit, mit der ein Begriff in einem Dokument erscheint, und in pLSA ist die (geschätzte) ) Wahrscheinlichkeit, dass ein Begriff im Dokument erscheint.$\hat{X}$

Können Sie mir helfen, diesen Punkt zu klären?

Angenommen, wir haben die beiden Modelle auf einem Korpus unter Berücksichtigung eines neuen Dokuments berechnet. In LSA verwende ich die Näherung als: $d^*$

$$\hat{d^*} = d^*\times V \times V^T$$

1. Ist das immer gültig?
2. Warum erhalte ich kein aussagekräftiges Ergebnis, wenn ich dasselbe Verfahren auf pLSA anwende? $$\hat{d^*} = d^*\times [P(f_j|z_k)] \times [P(f_j|z_k)]^T$$

Vielen Dank.

Der Einfachheit halber gebe ich hier den Zusammenhang zwischen LSA und nicht negativer Matrixfaktorisierung (NMF) an und zeige dann, wie eine einfache Modifikation der Kostenfunktion zu pLSA führt. Wie bereits erwähnt, sind LSA und pLSA beide Faktorisierungsmethoden in dem Sinne, dass bis zur Normalisierung der Zeilen und Spalten die niedrigrangige Zerlegung der Dokumenttermmatrix:

$$X=U\Sigma D$$

mit vorherigen Notationen. Einfacher kann die Dokumenttermmatrix als Produkt von zwei Matrizen geschrieben werden:

$$X = AB^T$$

wobei und . Für LSA wird die Entsprechung mit der vorherigen Formel erhalten, indem und . B ∈ U M × s A = U $A\in\Re^{N\times s}$$B\in\Re^{M\times s}$ B=V$A=U \sqrt{\Sigma}$$B=V\sqrt{\Sigma}$

Ein einfacher Weg, um den Unterschied zwischen LSA und NMF zu verstehen, ist die Verwendung ihrer geometrischen Interpretation:

• LSA ist die Lösung von:

  $$\min_{A,B} \|X - AB^T \|_F^2,$$

• NMF- ist die Lösung von: $L_2$

  $$\min_{A\ge 0,B\ge 0} \|X - AB^T \|_F^2,$$

• NMF-KL entspricht pLSA und ist die Lösung von:

  $$\min_{A\ge 0,B\ge 0} KL(X|| AB^T).$$

wobei die Kullback-Leibler- Divergenz zwischen den Matrizen und . Es ist leicht zu erkennen, dass alle oben genannten Probleme keine eindeutige Lösung haben, da man mit einer positiven Zahl multiplizieren und dividieren kann$KL(X||Y) = \sum_{ij} x_{ij}\log{\frac{x_{ij}}{y_{ij}}}$$X$$Y$$A$$B$durch die gleiche Zahl, um den gleichen Zielwert zu erhalten. Daher wählen Menschen im Fall von LSA normalerweise eine orthogonale Basis, die nach abnehmenden Eigenwerten sortiert ist. Dies ist durch die SVD-Zerlegung gegeben und identifiziert die LSA-Lösung, aber jede andere Wahl wäre möglich, da sie keinen Einfluss auf die meisten Operationen hat (Kosinusähnlichkeit, oben erwähnte Glättungsformel usw.). - Im Fall von NMF ist eine orthogonale Zerlegung nicht möglich, aber die Zeilen von sind normalerweise auf eins beschränkt, da sie eine direkte probabilistische Interpretation als . Wenn zusätzlich die Zeilen von normalisiert werden (dh Summe zu Eins), müssen die Zeilen von zu Eins summiert werden, was zur probabilistischen Interpretation führt$A$$p(z_k|d_i)$$X$$B$$p(f_j|z_k)$ . Es gibt einen kleinen Unterschied mit der Version von Plsa in der obigen Frage gegeben , weil die Spalten von bis Summe zu einem beschränkt sind, so dass die Werte in sind , aber der Unterschied ist nur eine Änderung der Parametrisierung , das Problem bleibt gleich.$A$$A$$p(d_i|z_k)$

Um die erste Frage zu beantworten: Der Unterschied zwischen LSA und pLSA (und anderen NMF-Algorithmen) hat etwas Feines: Die Nicht-Negativitätsbeschränkungen induzieren einen "Clustering-Effekt", der im klassischen LSA-Fall aufgrund des Singular-Werts nicht gültig ist Die Zersetzungslösung ist rotationsinvariant. Die Nicht-Negativitäts-Einschränkungen brechen diese Rotationsinvarianz irgendwie auf und geben Faktoren mit einer Art semantischer Bedeutung (Themen in der Textanalyse). Das erste Papier, das es erklärt, ist:

Donoho, David L. und Victoria C. Stodden. "Wann führt eine nicht negative Matrixfaktorisierung zu einer korrekten Zerlegung in Teile?" Fortschritte in neuronalen Informationsverarbeitungssystemen 16: Tagungsband 2003. MIT Press, 2004. [Link]

Ansonsten wird hier die Beziehung zwischen PLSA und NMF beschrieben:

Ding, Chris, Tao Li und Wei Peng. "Zur Äquivalenz zwischen nicht negativer Matrixfaktorisierung und probabilistischer latenter semantischer Indizierung." Computational Statistics & Data Analysis 52.8 (2008): 3913 & ndash; 3927. [Verknüpfung]