Gibt es eine Domäne, in der Bayes'sche Netzwerke neuronale Netzwerke übertreffen?

Neuronale Netze erzielen Spitzenergebnisse bei Computer Vision-Aufgaben (siehe MNIST , ILSVRC , Kaggle Galaxy Challenge ). Sie scheinen jeden anderen Ansatz in Computer Vision zu übertreffen. Es gibt aber auch andere Aufgaben:

• Kaggle Molecular Activity Challenge
• Regression: Kaggle Rain Vorhersage , auch der 2. Platz
• 2. und 3. Platz erfassen und anheben - Handbewegungen aus EEG-Aufzeichnungen ermitteln

Ich bin mir bei ASR (automatische Spracherkennung) und maschineller Übersetzung nicht sicher, aber ich glaube, ich habe auch gehört, dass (wiederkehrende) neuronale Netze andere Ansätze übertreffen.

Ich lerne gerade über Bayesian Networks und frage mich, in welchen Fällen diese Modelle normalerweise angewendet werden. Meine Frage lautet also:

Gibt es eine Herausforderung / (Kaggle-) Konkurrenz, bei der es sich nach dem Stand der Technik um Bayesian Networks oder zumindest um sehr ähnliche Modelle handelt?

(Randnotiz: Ich habe auch Entscheidungsbäume , 2 , 3 , 4 , 5 , 6 , 7 Siege in mehreren letzten Kaggle-Herausforderungen gesehen.)

Einer der Bereiche, in denen häufig Bayes'sche Ansätze verwendet werden, ist der, in dem eine Interpretierbarkeit des Vorhersagesystems erforderlich ist. Sie möchten Ärzten kein neuronales Netz geben und sagen, dass es zu 95% genau ist. Sie möchten vielmehr die Annahmen Ihrer Methode sowie den von der Methode verwendeten Entscheidungsprozess erläutern.

Ein ähnlicher Bereich liegt vor, wenn Sie über fundierte Domain-Vorkenntnisse verfügen und diese im System verwenden möchten.

Bayes'sche Netze und neuronale Netze schließen einander nicht aus. Tatsächlich sind Bayes'sche Netzwerke nur ein weiterer Begriff für "gerichtetes grafisches Modell". Sie können beim Entwerfen objektiver Funktionen neuronaler Netze sehr nützlich sein. Yann Lecun hat hier darauf hingewiesen: https://plus.google.com/+YannLeCunPhD/posts/gWE7Jca3Zoq .

Ein Beispiel.

Ausgezeichnete Antworten schon.

Eine Domain, an die ich denken kann und in der ich intensiv arbeite, ist die Customer Analytics Domain.

Ich muss die Bewegungen und Motive der Kunden verstehen und vorhersagen, um sowohl die Kundenbetreuung, das Marketing als auch die Wachstumsteams zu informieren und zu warnen.

Hier leisten neuronale Netze also wirklich gute Arbeit bei der Abwanderungsvorhersage usw. Aber ich habe den Bayes'schen Netzstil gefunden und bevorzuge ihn, und hier sind die Gründe, warum ich ihn bevorzuge:

1. Kunden haben immer ein Muster. Sie haben immer einen Grund zu handeln. Und dieser Grund wäre etwas, was mein Team für sie getan hat, oder sie haben selbst gelernt. Hier hat also alles Vorrang, und tatsächlich ist dieser Grund sehr wichtig, da er den größten Teil der vom Kunden getroffenen Entscheidungen antreibt.
2. Jede Bewegung des Kunden und der Wachstumsteams im Marketing- / Verkaufstrichter ist Ursache-Wirkung. Vorwissen ist daher von entscheidender Bedeutung, wenn es darum geht, einen potenziellen Interessenten in einen Kunden umzuwandeln.

Daher ist das Konzept des Prior sehr wichtig, wenn es um Kundenanalysen geht, weshalb das Konzept der Bayes'schen Netzwerke für diese Domäne sehr wichtig ist.

Vorgeschlagenes Lernen:

Bayes'sche Methoden für neuronale Netze

Bayesianische Netzwerke in der Business Analytics

Manchmal ist es Ihnen genauso wichtig, das Ergebnis zu ändern wie es vorherzusagen.

Ein neuronales Netzwerk, das über genügend Trainingsdaten verfügt, kann das Ergebnis besser vorhersagen. Wenn Sie jedoch das Ergebnis vorhersagen können, möchten Sie möglicherweise die Auswirkungen von Änderungen an den Eingabemerkmalen auf das Ergebnis vorhersagen.

Ein Beispiel aus dem wirklichen Leben, das Wissen, dass jemand wahrscheinlich einen Herzinfarkt hat, ist nützlich, aber in der Lage zu sein, der Person mitzuteilen, dass ein um 30% geringeres Risiko von größerem Nutzen ist, wenn sie aufhört, XX zu machen.

Ebenso ist es für die Kundenbindung genauso wert, zu wissen, warum Kunden aufhören, mit Ihnen einzukaufen, wie die Kunden vorherzusagen, die wahrscheinlich aufhören, mit Ihnen einzukaufen.

Auch ein einfacheres Bayes'sches Netzwerk, das weniger gut vorhersagt, aber dazu führt, dass mehr Maßnahmen ergriffen werden, ist oftmals besser als ein „korrekteres“ Bayes'sches Netzwerk.

Der größte Vorteil von Bayes'schen Netzen gegenüber neuronalen Netzen besteht darin, dass sie zur kausalen Inferenz herangezogen werden können. Dieser Zweig ist für Statistik und maschinelles Lernen von grundlegender Bedeutung, und Judea Pearl wurde für diese Forschung mit dem Turing-Preis ausgezeichnet.

Bayes'sche Netze können bei kleinen Datenmengen die Leistung neuronaler Netze übertreffen. Wenn die vorherigen Informationen ordnungsgemäß über die Netzwerkstruktur, Prioritäten und andere Hyperparameter verwaltet werden, haben sie möglicherweise einen Vorteil gegenüber neuronalen Netzwerken. Neuronale Netze, insbesondere solche mit mehr Schichten, sind bekanntermaßen datenhungrig. Fast per Definition sind viele Daten notwendig, um sie richtig zu trainieren.

Ich habe diesen Link auf Reddit gepostet und viel Feedback erhalten. Einige haben hier ihre Antworten gepostet, andere nicht. Diese Antwort sollte den reddit Beitrag zusammenfassen. (Ich habe es zu einem Community-Wiki gemacht, damit ich keine Punkte dafür bekomme.)

• Auto-Encoding Variational Bayes ist eine Kombination aus einem Bayes-Netzwerk und einem neuronalen Netzwerk. Die Arbeit Bayesian Convolutional Neural Networks mit Bernoulli Approximate Variational Inference scheint in die gleiche Richtung zu gehen.
• Dropout: Ein einfacher Weg, um eine Überanpassung von neuronalen Netzen zu verhindern, ist ein Beispiel, bei dem Bayes'sche neuronale Netze ihren Dropout-Ansatz übertreffen (siehe Abschnitt 6.4 "Vergleich mit Bayes'schen neuronalen Netzen").
• Das Konzeptlernen auf menschlicher Ebene durch probabilistische Programminduktion ist ein Artikel "über ein Bayes'sches Netz, das eine einmalige Klassifizierung durchführt, die neuronale Netze übertrifft" (nach trashacount12345 - das habe ich jetzt nicht überprüft).
• Yann LeCun schrieb einen Google+ Beitrag, in dem er argumentierte, dass neuronale Netze und wahrscheinliche grafische Modelle keine orthogonalen Konzepte sind.

Bayesianische Netzwerke werden für die Genominterpretation bevorzugt. Siehe zum Beispiel diese Dissertation , in der Berechnungsmethoden für die Genominterpretation diskutiert werden.

Ich habe mal ein kleines Beispiel dafür gemacht. Von daher denke ich, dass Bayesianische Netzwerke bevorzugt werden, wenn Sie eine Distribution erfassen möchten, aber Ihr Input-Trainingssatz die Distribution nicht gut abdeckt. In solchen Fällen wäre selbst ein gut verallgemeinertes neuronales Netz nicht in der Lage, die Verteilung zu rekonstruieren.

Ich bin absolut nicht der Meinung, dass neuronale Netze besser sind als andere Lernende. Tatsächlich schneiden neuronale Netze im Vergleich zu anderen Methoden ziemlich schlecht ab. Es gibt auch keine Methodik, trotz einiger Ratschläge zur Auswahl von Parametern, die sehr oft zufällig gemacht werden. Es gibt auch einige Typen, die in Foren zufällig darüber reden, wie gut neuronale Netze sind, nicht weil sie Beweise dafür haben, sondern weil sie sich über das ausgefallene und beliebte Wort "neuronale" aufregen. Sie sind auch sehr instabil. Haben Sie versucht, ein neuronales Netz mit xgboost zu vergleichen? Ich werde kein neuronales Netz ausprobieren, bis es selbstbewusst ist. Also bis dahin frohes neuronales Netz :)