Generative vs. diskriminative Modelle (im Bayes'schen Kontext)

22

Was sind die Unterschiede zwischen generativen und diskriminativen (diskriminanten) Modellen (im Kontext des Bayes'schen Lernens und der Inferenz)?

und worum geht es bei Vorhersage, Entscheidungstheorie oder unbeaufsichtigtem Lernen?

bayesian predictive-models unsupervised-learning

— nkint
quelle

Entschuldigung, ich verstehe nicht, was Sie mit dem zweiten Satz meinen. Würden Sie es versuchen und umformulieren?

— csgillespie

ohu, ich bin gerade in die Welt des statistischen und maschinellen Lernens eingetreten, sorry, ich habe nicht herausgefunden, wie man unbeaufsichtigtes Lernen mit Entscheidungstheorie verbindet. aber ich studiere immer noch!

— Nr.

1

Ich bin nur verwirrt, wie es mit der Frage passt. Beispielsweise erscheinen die Wörter "Vorhersage", "Entscheidungstheorie" oder "unbeaufsichtigt" nicht in der akzeptierten Antwort

— csgillespie

35

Beide werden beim überwachten Lernen verwendet, wenn Sie eine Regel lernen möchten, die die Eingabe x auf die Ausgabe y abbildet, wenn eine Reihe von Trainingsbeispielen in der Form . Ein generatives Modell (z. B. naives Bayes) modelliert explizit die gemeinsame Wahrscheinlichkeitsverteilung und verwendet dann die Bayes-Regel, um zu berechnen . Andererseits modelliert ein Unterscheidungsmodell (z. B. logistische Regression) direkt . $\{(x_i,y_i)\}$ $p(x,y)$ $p(y|x)$ $p(y|x)$

$(y)$ $p(x|y)$

Es kann Fälle geben, in denen ein Modell besser ist als das andere (z. B. sind diskriminative Modelle in der Regel besser, wenn Sie über viele Daten verfügen; generative Modelle sind möglicherweise besser, wenn Sie über zusätzliche unbeschriftete Daten verfügen). Tatsächlich gibt es auch Hybird-Modelle, die versuchen, das Beste aus beiden Welten hervorzubringen. In diesem Artikel finden Sie ein Beispiel: Prinzipielle Hybride generativer und diskriminativer Modelle

— Ebenholz1
quelle

1

Gute Antwort. Im Hinblick auf den Vergleich von kanonischen Beispielen für diskriminative mit generativen Klassifikatoren (logistische Regression bzw. Gaußsche naive Bayes) fand ich, dass dieses Buchkapitel besser zugänglich ist als das Buch Ng: cs.cmu.edu/~tom/mlbook/NBayesLogReg.pdf

— Josh Hemann

3

Ein Zusatz zu der obigen Antwort:

Da sich Diskriminanten nur um P (Y | X) kümmern, während sich generative gleichzeitig um P (X, Y) und P (X) kümmern, um P (Y | X) gut vorherzusagen, hat das generative Modell einen geringeren Freiheitsgrad im Modell im Vergleich zu Diskriminanzmodell. So generatives Modell ist robuster und weniger anfällig für Überanpassung während Diskriminante ist umgekehrt.

Das erklärt die obige Antwort

Es kann Fälle geben, in denen ein Modell besser ist als das andere (z. B. sind diskriminative Modelle in der Regel besser, wenn Sie über viele Daten verfügen; generative Modelle sind möglicherweise besser, wenn Sie über zusätzliche unbeschriftete Daten verfügen).

— Künstlich Intelligenz
quelle

2

Können Sie erklären, was Sie über die Tatsache sagen, dass generative Modelle weniger Freiheitsgrade haben? Beweis? Links? Vielen Dank

— Patrick