Deep Believe Networks oder Deep Boltzmann Machines?

Ich bin verwirrt. Gibt es einen Unterschied zwischen Deep Believe-Netzwerken und Deep Boltzmann-Maschinen? Wenn ja, was ist der Unterschied?

Obwohl Deep Belief Networks (DBNs) und Deep Boltzmann Machines (DBMs) diagrammatisch sehr ähnlich aussehen, sind sie tatsächlich qualitativ sehr unterschiedlich. Dies liegt daran, dass DBNs gerichtet und DBMs ungerichtet sind. Wenn wir sie in das breitere ML-Bild einpassen wollten, könnten wir sagen, DBNs sind sigmoidale Glaubensnetzwerke mit vielen dicht verbundenen Schichten latenter Variablen und DBMs sind Markov-Zufallsfelder mit vielen dicht verbundenen Schichten latenter Variablen.

$P(v|h)$$v$$h$$P$

Davon abgesehen gibt es Ähnlichkeiten. Beispielsweise:

1. DBNs und das ursprüngliche DBM arbeiten beide mit Initialisierungsschemata, die auf gierigem schichtweisem Training von eingeschränkten Bolzmann-Maschinen (RBMs) basieren.
2. Sie sind beide "tief".
3. Beide weisen Schichten latenter Variablen auf, die dicht mit den darüber und darunter liegenden Schichten verbunden sind, jedoch keine Verbindungen zwischen den Schichten usw. aufweisen.

Bei beiden handelt es sich um probabilistische grafische Modelle, die aus gestapelten RBM-Schichten bestehen. Der Unterschied besteht darin, wie diese Schichten verbunden sind.

Dieser Link macht es ziemlich klar: http://jmlr.org/proceedings/papers/v5/salakhutdinov09a/salakhutdinov09a.pdf . Besonders relevant sind Abbildung 2 und Abschnitt 3.1.

Zusammenfassen:

In einem DBN sind die Verbindungen zwischen Schichten gerichtet. Daher bilden die ersten beiden Schichten ein RBM (ein ungerichtetes grafisches Modell) und die nachfolgenden Schichten ein gerichtetes generatives Modell.

In einem DBM ist die Verbindung zwischen allen Ebenen ungerichtet, sodass jedes Ebenenpaar eine RBM bildet.