Themenvorhersage mit latenter Dirichlet-Zuordnung

Ich habe LDA für ein Korpus von Dokumenten verwendet und einige Themen gefunden. Die Ausgabe meines Codes besteht aus zwei Matrizen, die Wahrscheinlichkeiten enthalten. Wahrscheinlichkeiten für ein Dokumentthema und die Wahrscheinlichkeiten für das andere Wortthema. Aber ich weiß nicht, wie ich diese Ergebnisse verwenden soll, um das Thema eines neuen Dokuments vorherzusagen. Ich benutze Gibbs Sampling. Weiß jemand wie? Vielen Dank

Ich würde versuchen, einzusteigen. Dies bezieht sich darauf, ein neues Dokument zu nehmen, es zum Korpus hinzuzufügen und dann die Gibbs-Stichprobe nur für die Wörter in diesem neuen Dokument auszuführen, wobei die Themenzuweisungen der alten Dokumente gleich bleiben. Dies konvergiert normalerweise schnell (möglicherweise 5-10-20 Iterationen), und Sie müssen Ihr altes Korpus nicht abtasten, sodass es auch schnell läuft. Am Ende haben Sie die Themenzuordnung für jedes Wort im neuen Dokument. Auf diese Weise können Sie die Themen in diesem Dokument verteilen.

In Ihrem Gibbs-Sampler haben Sie wahrscheinlich etwas Ähnliches wie den folgenden Code:

// This will initialize the matrices of counts, N_tw (topic-word matrix) and N_dt (document-topic matrix)
for doc = 1 to N_Documents
    for token = 1 to N_Tokens_In_Document
       Assign current token to a random topic, updating the count matrices
    end
end

// This will do the Gibbs sampling
for doc = 1 to N_Documents
    for token = 1 to N_Tokens_In_Document
       Compute probability of current token being assigned to each topic
       Sample a topic from this distribution
       Assign the token to the new topic, updating the count matrices
    end
end

Das Einklappen ist identisch, mit der Ausnahme, dass Sie mit den vorhandenen Matrizen beginnen, ihnen die Token des neuen Dokuments hinzufügen und die Stichprobe nur für die neuen Token durchführen. Dh:

Start with the N_tw and N_dt matrices from the previous step

// This will update the count matrices for folding-in
for token = 1 to N_Tokens_In_New_Document
   Assign current token to a random topic, updating the count matrices
end

// This will do the folding-in by Gibbs sampling
for token = 1 to N_Tokens_In_New_Document
   Compute probability of current token being assigned to each topic
   Sample a topic from this distribution
   Assign the token to the new topic, updating the count matrices
end

$p^i_w$$w$$i$$j$$w_j$