Unterschied zwischen Bayes-Netzwerk, neuronalem Netzwerk, Entscheidungsbaum und Petri-Netzen


30

Was ist der Unterschied zwischen dem neuronalen Netzwerk , dem Bayes'schen Netzwerk , dem Entscheidungsbaum und den Petri-Netzen , obwohl sie alle grafische Modelle sind und die Ursache-Wirkung-Beziehung visuell darstellen?


1
Beachten Sie, dass es auch Bayes'sche Neuronale Netze gibt (um nur verwirrend zu sein), die im Grunde genommen nur ein neuronales Netz mit einer Bayes'schen Behandlung von Parametern sind, soweit ich das sehe.
Naught101

Antworten:


27

Wow, was für eine große Frage! Die kurze Version der Antwort lautet: Nur weil Sie zwei Modelle mithilfe von diagrammartig ähnlichen visuellen Darstellungen darstellen können, bedeutet dies nicht, dass sie strukturell, funktional oder philosophisch miteinander in Beziehung stehen. Ich kenne mich nicht mit FCM oder NF aus, aber ich kann ein bisschen mit den anderen sprechen.

Bayesian Network

In einem Bayes'schen Netzwerk stellt das Diagramm die bedingten Abhängigkeiten verschiedener Variablen im Modell dar. Jeder Knoten repräsentiert eine Variable und jede gerichtete Kante repräsentiert eine bedingte Beziehung. Das grafische Modell ist im Wesentlichen eine Visualisierung der Kettenregel.

Neurales Netzwerk

In einem neuronalen Netzwerk ist jeder Knoten ein simuliertes "Neuron". Das Neuron ist im Wesentlichen ein- oder ausgeschaltet, und seine Aktivierung wird durch eine lineare Kombination der Werte jeder Ausgabe in der vorhergehenden "Schicht" des Netzwerks bestimmt.

Entscheidungsbaum

Angenommen, wir verwenden einen Entscheidungsbaum zur Klassifizierung. Der Baum liefert uns im Wesentlichen ein Flussdiagramm, das beschreibt, wie wir eine Beobachtung klassifizieren sollen. Wir beginnen an der Wurzel des Baumes und das Blatt, in dem wir landen, bestimmt die Klassifizierung, die wir vorhersagen.

Wie Sie sehen, haben diese drei Modelle im Grunde genommen überhaupt nichts miteinander zu tun, außer dass sie mit Kästchen und Pfeilen darstellbar sind.


1
Abgesehen von der Theorie, behandelt Decision Tree nicht auch Abhängigkeiten zwischen Variablen, indem Daten ausgespuckt werden? Ich bin neu im Bereich des maschinellen Lernens und bin mehr daran interessiert, intuitiv zu verstehen, welches Algo in welchem ​​Szenario verwendet werden soll. Für mich sieht es so aus, als würden Sie das Bayes'sche Netzwerk verwenden, wenn Sie die genaue Beziehung zwischen Variablen kennen, während Sie den Entscheidungsbaum verwenden würden, wenn Sie vermuten, dass einige Variablen von anderen abhängig sind, aber nicht genau wissen, welche. Ich möchte wissen, ob dies richtig erscheint oder ob die Anwendbarkeit des Bayes'schen Netzwerks und der Entscheidungsbäume genauer erklärt werden kann.
Deepak Agarwal

Ich denke wirklich, dass die Antwort sowohl auf Unterschiede als auch auf Ähnlichkeiten hinweisen sollte, um das Gesamtbild zu skizzieren: "Diese drei Modelle haben im Grunde überhaupt nichts miteinander zu tun" ist einfach falsch. Decision Tree und Neuronale Netze verfolgen im Vergleich zum generativen Ansatz von BN denselben diskriminativen Ansatz. Während die anderen beiden Funktionen repräsentieren, repräsentieren Bayes'sche Netzwerke verallgemeinerte Funktionen (Distributionen), ...
Lejafar

1
Die Unterscheidung, die Sie hier treffen, ist falsch. Neuronale Netze können verwendet werden, um generative Modelle zu konstruieren. Betrachten Sie beispielsweise GANs. Meine Antwort ist ausreichend, denn die Frage lautet: "Diese Modelle werden auf ähnliche Weise visuell dargestellt. Bedeutet das, dass sie strukturell ähnlich sind?" und ich erklärte, wie diese grafischen Darstellungen sehr unterschiedliche Informationen codieren.
David Marx

1
Fühlen Sie sich frei, Ihre eigene Antwort hinzuzufügen.
David Marx

2
@Lejafar, verwenden Sie keine Änderungen, um den Inhalt der Antwort einer anderen Person zu ändern. Wenn Sie mit einer Antwort nicht einverstanden sind, hinterlassen Sie einen Kommentar, stimmen Sie ab oder posten Sie Ihre eigene Antwort.
gung - Reinstate Monica

5

Es ist leicht zu zeigen (siehe den Kurs von Daphne Koller ), dass die logistische Regression eine eingeschränkte Version von bedingten Zufallsfeldern ist, bei denen es sich um ungerichtete grafische Modelle handelt, während es sich bei Bayes'schen Netzwerken um gerichtete grafische Modelle handelt. Die logistische Regression kann dann auch als einschichtiges Perzeptron betrachtet werden. Dies ist die einzige Verbindung (die sehr locker ist), die meines Erachtens zwischen Bayes'schen Netzen und neuronalen Netzen bestehen könnte.

Ich muss noch eine Verbindung zwischen den anderen Konzepten finden, nach denen Sie gefragt haben.


2
Willkommen auf der Website und vielen Dank für diesen Beitrag. Können Sie näher erläutern, wie leicht dies zu erkennen ist? Gegenwärtig ist dies nur eine Behauptung, die für Menschen möglicherweise nicht offensichtlich ist. Die Informationen befinden sich möglicherweise unter dem Link, aber wir möchten, dass dieser Thread auch dann informativ bleibt, wenn der Link nicht mehr funktioniert.
gung - Wiedereinsetzung von Monica

Hallo danke! Ich bin mir nicht sicher, wie detailliert die Erklärung sein sollte (es dauert mindestens eine halbe Stunde, bis Daphne den Proof vorbereitet hat), und es ist auch nicht besonders aktuell, aber die allgemeine Idee ist, dass das Logistikmodell eine vereinfachte Version von ist die Gibbs-Verteilung, die wiederum die Basis für CRFs ist.
Octavia-Maria Șulea

1
Was bedeutet crf? Ist crf = bedingte Zufallsfelder?
Ted Taylor des Lebens

2

Hervorragende Antwort von @David Marx. Ich habe mich gefragt, was der Unterschied zwischen Klassifizierungs- / Regressionsbaum und Bayes'schem Netzwerk ist. Einer baut auf Entropie auf, um ein Ergebnis in Klassen zu klassifizieren, die auf verschiedenen Prädiktoren basieren, und der andere baut ein grafisches Netzwerk auf, das bedingte Unabhängigkeit und probabilistische Parameterschätzungen verwendet.

Ich bin der Meinung, dass sich die Methode zum Aufbau des Bayes'schen Netzwerks von der des Regressions- / Entscheidungsbaums unterscheidet. Der Algorithmus für das strukturelle Lernen, die Verwendungsziele der Modelle sowie die Inferenzfähigkeit der Modelle sind unterschiedlich.

Der Score-basierte und Constrained-basierte Ansatz kann mit einigen Parallelen verstanden werden, die mit den Informationsgewinnkriterien in den Entscheidungsbaumfamilien gezogen wurden.


1

Zunächst versuchen wir, die Art des Problems anzugeben, das mit diesen Methoden gelöst werden soll. Wenn ein Problem unkompliziert ist (Polynom oder NP Complete), können Algorithmen eingesetzt werden, die eine deterministische Antwort liefern, indem die Axiome einfach nach logischen Regeln rekombiniert werden. Wenn dies jedoch nicht der Fall ist, müssen wir uns auf eine Argumentationsmethode verlassen, bei der wir versuchen, das Problem als heterogen zu behandeln und es an ein Netzwerk anzuschließen, wobei die Knoten Auswertungen und die Kanten Pfade zwischen den Komponenten sind .

Bei jeder Art von netzwerkbasiertem Denken schließen wir nicht deduktiv mit abstrakten Verallgemeinerungen und Kombinationen nach logischen Regeln in einem linearen Fluss, sondern lösen das Problem auf der Grundlage der Ausbreitung des Denkens in verschiedene Richtungen, so dass wir es lösen Das Problem wird Knoten für Knoten gelöst und ist offen für Verbesserungen bei der Entdeckung neuer Fakten zu zukünftigen Knoten. Lassen Sie uns nun sehen, wie jede dieser Techniken diese Methode der Problemlösung auf ihre eigene Weise angeht.

Neuronales Netzwerk: Das neuronale Netzwerk ist eine Black Box, bei der angenommen wird (von außerhalb des Systems nie überprüft werden konnte), dass Verbindungen zwischen einzelnen Knoten durch wiederholte externe Verstärkungen hergestellt und verstärkt werden. Es nähert sich dem Problem in einem konnektionistischen Paradigma. Das Problem ist wahrscheinlich gelöst, aber es gibt wenig Erklärbarkeit. Das neuronale Netz wird heute aufgrund seiner Fähigkeit, schnelle Ergebnisse zu erzielen, häufig verwendet, wenn das Problem der Erklärbarkeit übersehen wird.

Bayesian Network: Das Bayes'sche Netzwerk ist ein gerichteter azyklischer Graph, der eher dem Flussdiagramm ähnelt, nur dass das Flussdiagramm zyklische Schleifen aufweisen kann. Das Bayes'sche Netzwerk kann im Gegensatz zum Flussdiagramm mehrere Startpunkte haben. Grundsätzlich wird die Ausbreitung von Ereignissen über mehrere mehrdeutige Punkte verfolgt, an denen das Ereignis wahrscheinlich zwischen den Pfaden divergiert. Offensichtlich ist an jedem beliebigen Punkt im Netzwerk die Wahrscheinlichkeit, dass dieser Knoten besucht wird, von der gemeinsamen Wahrscheinlichkeit der vorhergehenden Knoten abhängig. Das Bayes'sche Netzwerk unterscheidet sich insofern vom Neuronalen Netzwerk, als es explizit begründet ist, obwohl es probabilistisch ist und daher mehrere stabile Zustände haben kann, basierend auf jedem Schritt, der innerhalb gesetzlicher Werte überprüft und modifiziert wird, genau wie ein Algorithmus. Es ist ein robuster Weg, probabilistisch zu argumentieren, aber es beinhaltet die Kodierung von Wahrscheinlichkeiten,

Entscheidungsbäume: Der Entscheidungsbaum ist wieder ein Netzwerk, das eher einem Flussdiagramm ähnelt und näher am Bayes'schen Netzwerk liegt als am neuronalen Netz. Jeder Knoten hat mehr Intelligenz als das neuronale Netz, und die Verzweigung kann durch mathematische oder probabilistische Auswertungen bestimmt werden. Die Entscheidungen sind einfache Auswertungen auf der Grundlage von Häufigkeitsverteilungen wahrscheinlicher Ereignisse, bei denen die Entscheidung probabilistisch ist. In Bayes'schen Netzwerken basiert die Entscheidung jedoch auf der Verteilung von „Beweisen“, die auf ein eingetretenes Ereignis hinweisen, und nicht auf der direkten Beobachtung des Ereignisses.

Ein Beispiel Wenn wir zum Beispiel die Bewegung eines menschenfressenden Tigers durch einige Himalaya-Dörfer vorhersagen würden, die sich zufällig am Rand eines Tigerreservats befinden, könnten wir dies wie folgt modellieren:

In einem Entscheidungsbaum würden wir uns auf Expertenschätzungen stützen, ob ein Tiger die Wahl zwischen offenen Feldern hätte oder ob Flüsse sich für letzteres entscheiden würden. In einem Bayesianischen Netzwerk verfolgen wir den Tiger anhand von Mops-Markierungen, begründen dies jedoch auf eine Weise, die anerkennt, dass diese Mops-Markierungen möglicherweise von einem Tiger ähnlicher Größe stammen, der routinemäßig auf seinem Territorium patrouilliert. Wenn wir ein neuronales Netz verwenden möchten, müssten wir das Modell wiederholt unter Verwendung verschiedener Verhaltensmerkmale des Tigers im Allgemeinen trainieren, z Lassen Sie das Netzwerk generell über den Kurs nachdenken, den der Tiger nehmen könnte.


0

In Bezug auf grafische Modelle formalisiert Petri Net ein Systemverhalten. , dass es sich stark von den übrigen genannten Modellen unterscheidet, die sich alle darauf beziehen, wie ein Urteil gebildet wird.

Es ist zu beachten, dass die meisten der zitierten Namen ziemlich umfangreiche KI-Konzepte bezeichnen, die häufig zusammenfallen: Beispielsweise können Sie ein neuronales Netzwerk verwenden, um einen Entscheidungsbaum zu erstellen, während das neuronale Netzwerk selbst, wie bereits erwähnt, möglicherweise von Bayesian abhängt Inferenz.


-3

Es ist eine gute Frage und ich habe mich das gleiche gefragt. Es gibt mehr als zwei Arten von neuronalen Netzen, und es scheint, dass die vorherige Antwort den Wettbewerbstyp ansprach, während das Bayes'sche Netz Ähnlichkeiten mit dem Feed-Forward-, Back-Propagation- (FFBP) -Typ und nicht mit dem Wettbewerbstyp aufzuweisen scheint. Tatsächlich würde ich sagen, dass das Bayes'sche Netzwerk eine Verallgemeinerung des FFBP ist. Das FFBP ist also eine Art bayesianisches Netzwerk und funktioniert auf ähnliche Weise.

Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.