Verständnis von naiven Bayes: Berechnung der bedingten Wahrscheinlichkeiten

Nehmen wir für eine Aufgabe zur Stimmungsanalyse an, wir haben einige Klassen, die durch und Merkmale . $c$ $i$

Wir können die bedingte Wahrscheinlichkeit jeder Klasse wie : wobei jedes Merkmal darstellt und die Klasse ist wir haben. Dann können wir empirisch Unsere Prioritäten für jede Klasse sind dann gegeben durch: wobei:

P. (c | w_{ich}) = \frac{P. (w_{ich} | c) \cdot P. (c)}{P. (w_{ich})}

$P(c | w_i) = \frac{P(w_i|c) \cdot P(c)}{P(w_i)}$

w_{i}

$w_i$

c

$c$

P. (w_{ich} | c) = \frac{n_{c ich}}{n_{c}}

$P(w_i|c) = \frac{n_{ci}}{n_c}$

P. (w_{ich}) = \frac{n_{ich}}{n}

$P(w_i) = \frac{n_{i}}{n}$

P. (c) = \frac{n_{c}}{n}

$P(c) = \frac{n_c}{n}$

$n$ ist die Gesamtzahl der Features in allen Klassen.

$n_{ci}$ repräsentiert die Anzahl der Zählungen dieses Merkmals in Klasse . $i$ $c$

$n_c$ ist die Gesamtzahl der Features für die Klasse und

$n_i$ ist die Gesamtzahl der Features für alle Klassen.

Ist mein Verständnis der oben genannten richtig? dieser für jedes Wort gehe ich davon aus, dass die Wörter unabhängig sind, also multipliziere ich einfach jedes Wort in einem Dokument für eine bestimmte Klasse, dh um zu berechnen wobei die Anzahl der Wörter im Dokument ist. Ist das richtig? $P(c|w_i)$ $\prod P(c|w_i), i \in N$ $N$

Um die bedingte Wahrscheinlichkeit tatsächlich numerisch zu berechnen, würde es ausreichen, Folgendes zu tun:

P. (c | w_{ich}) = \frac{P. (w_{ich} | c) \cdot P. (c)}{P. (w_{ich})} = \frac{n_{c ich}}{n_{c}} \cdot \frac{n_{c}}{n} \cdot \frac{n}{n_{ich}} = \frac{n_{c ich}}{n_{ich}}

$P(c | w_i) = \frac{P(w_i|c) \cdot P(c)}{P(w_i)} = \frac{n_{ci}}{n_c} \cdot \frac{n_c}{n}\cdot \frac{n}{n_i} = \frac{n_{ci}}{n_i}$

Der letzte Teil der Gleichung erscheint mir etwas verdächtig, da es viel zu einfach erscheint, für eine ziemlich komplexe Wahrscheinlichkeit zu berechnen.

— user19241256
quelle

Ihre Formel ist für ein korrekt , aber wenn Sie ein Dokument klassifizieren möchten, müssen Sie . $w_i$ $P(c | w_1,\ldots,w_N)$

Dann haben Sie

P. (c | w_{1}, \dots, w_{N.}) = \frac{P. (c) \cdot P. (w_{1}, \dots, w_{N.} | c)}{P. (w_{1}, \dots, w_{N.})} = \frac{P. (c) \cdot \prod_{ich = 1}^{N.} P. (w_{ich} | c)}{P. (w_{1}, \dots, w_{N.})} \neq \prod_{ich = 1}^{N.} P. (c | w_{ich})

$P(c | w_1,\ldots,w_N) = \frac{P(c)\cdot P(w_1,\ldots,w_N|c)}{P(w_1,\ldots,w_N)} = \frac{P(c) \cdot \prod_{i=1}^N P(w_i|c)}{P(w_1,\ldots,w_N)} \neq \prod_{i=1}^NP(c|w_i)$

wo die zweite Gleichung wegen der naiven Bayes-Annahme gilt.

Zu Klassifizierungszwecken können Sie ignorieren da es (angesichts der Daten) konstant ist. Die Formel ist immer noch einfach ("naiv"), vereinfacht sich aber nicht so sehr. $P(w_1,\ldots,w_N)$

Der letzte Teil der Gleichung erscheint mir etwas verdächtig, da es viel zu einfach erscheint, für eine ziemlich komplexe Wahrscheinlichkeit zu berechnen.

Beachten Sie, dass Naïve Bayes zwar für viele Anwendungen ein anständiger Klassifikator ist, die generierten Wahrscheinlichkeiten jedoch normalerweise nicht sehr repräsentativ sind.

— oW_
quelle

Danke für deine Antwort. Warum kann dieses Ergebnis in tatsächlichen Programmen nicht erzielt werden? Ich habe viele Implementierungen von naiven Bayes gesehen und keine davon geht direkt, um ein Wort zu berechnen .

n_{c i}

$n_{ci}$

— user19241256

Ich bin mir nicht sicher, ob ich die Frage verstehe ... in irgendeiner Form würde es darauf ankommen, zu zählen. Kannst du ein Beispiel geben?

— oW_