Unterschied zwischen naiven Bayes und multinomialen naiven Bayes

Ich habe mich schon einmal mit dem Naive Bayes- Klassifikator befasst. Ich habe in letzter Zeit über Multinomial Naive Bayes gelesen .

Auch hintere Wahrscheinlichkeit = (Prior * Likelihood) / (Evidence) .

Der einzige Hauptunterschied (während ich diese Klassifikatoren programmierte), den ich zwischen Naive Bayes und Multinomial Naive Bayes fand, ist der folgende

Multinomial Naive Bayes berechnet die Wahrscheinlichkeit, dass ein Wort / Token gezählt wird (Zufallsvariable), und Naive Bayes berechnet die Wahrscheinlichkeit, dass Folgendes zutrifft :

Bildbeschreibung hier eingeben

Korrigiere mich, wenn ich falsch liege!

— Garak
quelle

Viele Informationen finden Sie im folgenden PDF: cs229.stanford.edu/notes/cs229-notes2.pdf

— B_Miner

Christopher D. Manning, Prabhakar Raghavan und Hinrich Schütze. " Introduction to Information Retrieval. " 2009, Kapitel 13 über Textklassifikation und Naive Bayes, ist ebenfalls gut.

— Franck Dernoncourt

Antworten:

$f_1$ $f_n$

p (f_{1}, . . ., f_{n} | c) = \prod_{i = 1}^{n} p (f_{i} | c)

$p(f_1,..., f_n|c) = \prod_{i=1}^n p(f_i|c)$

Das heißt, wenn ich ein neues Beispiel mit einem Naive Bayes-Modell klassifizieren möchte, ist die posteriore Wahrscheinlichkeit viel einfacher zu handhaben:

p (c | f_{1}, . . ., f_{n}) \propto p (c) p (f_{1} | c) . . . p (f_{n} | c)

$p(c|f_1,...,f_n) \propto p(c)p(f_1|c)...p(f_n|c)$

Natürlich sind diese Annahmen der Unabhängigkeit selten zutreffend, was erklären mag, warum einige das Modell als "Idiot Bayes" -Modell bezeichnet haben, aber in der Praxis haben Naive Bayes-Modelle überraschend gute Leistungen erbracht, selbst bei komplexen Aufgaben, bei denen es klar ist, dass die Starken Unabhängigkeitsannahmen sind falsch.

$p(f_i|c)$ $p(f_i|c)$

Die Distribution, die Sie mit Ihrem Naive Bayes-Klassifikator verwendet haben, ist eine Guassian-PDF-Datei. Sie können sie also als Guassian Naive Bayes-Klassifikator bezeichnen.

Zusammenfassend ist der Naive Bayes-Klassifikator ein allgemeiner Begriff, der sich auf die bedingte Unabhängigkeit der einzelnen Merkmale im Modell bezieht, während der multinomiale Naive Bayes-Klassifikator eine spezifische Instanz eines Naive Bayes-Klassifikators ist, der für jedes der Merkmale eine multinomiale Verteilung verwendet.

Verweise:

Stuart J. Russell und Peter Norvig. 2003. Künstliche Intelligenz: Ein moderner Ansatz (2. Aufl.). Pearson Ausbildung. Siehe p. 499 zur Bezugnahme auf "idiot Bayes" sowie die allgemeine Definition des Naive Bayes-Modells und seiner Unabhängigkeitsannahmen

— jlund3
quelle

Die Links sind kaputt

— ssoler

@jlund3, Danke für die nette Erklärung. Wie nehmen wir die Informationen der Verteilung in unseren Klassifikator auf? Ich meine , wie funktioniert die fomula p (c | f1, ..., fn) & alpha; p (c) p (f1 | c) ... p (fn | c) basierend auf Änderungen , ob es sich um eine Gaußsche Verteilung vs multimodal ist

— David

Vielen Dank für die kurze Erklärung, aber ich empfehle das Buch (Stuart J. Russell und Peter Norvig. 2003. Künstliche Intelligenz: Ein moderner Ansatz (2. Aufl.)), Auf das oben verwiesen wurde, um mehr über NB und Techniken der künstlichen Intelligenz zu

— erfahren

Die Anzahl der Multinomialverteilungen ist nicht unabhängig. Siehe meine Frage hier: datascience.stackexchange.com/questions/32016/…

— Hanan Shteingart

$P(x_i | c_j)$ $1 \leq i \leq n$ $1 \leq j \leq k$ $(i,j)$ $P(x_i|c_{j_1})$ $P(x_i | c_{j_2})$

Multinomial Naive Bayes geht einfach von einer Multinomialverteilung für alle Paare aus, was in einigen Fällen eine vernünftige Annahme zu sein scheint, dh für die Wortanzahl in Dokumenten.

— sjm.majewski
quelle