Ich habe den Eindruck, dass, wenn man sich auf ein "Deep Believe" -Netzwerk bezieht, dies im Grunde genommen ein neuronales Netzwerk ist, aber sehr groß. Ist das richtig oder impliziert ein tiefes Glaubensnetzwerk auch, dass der Algorithmus selbst anders ist (dh kein vorwärtskoppelndes neuronales Netz, aber vielleicht etwas mit Rückkopplungsschleifen)?
Antworten:
"Neuronale Netze" ist ein Begriff, der üblicherweise verwendet wird, um sich auf vorwärtsgerichtete neuronale Netze zu beziehen. Tiefe neuronale Netze sind vorwärtsgerichtete neuronale Netze mit vielen Schichten.
Ein Deep-Believe-Netzwerk ist nicht dasselbe wie ein Deep-Neural-Netzwerk.
Wie Sie bereits betont haben, besteht bei einem Deep-Believe-Netzwerk eine ungerichtete Verbindung zwischen einigen Ebenen. Dies bedeutet, dass die Topologie von DNN und DBN per Definition unterschiedlich ist.
Die ungerichteten Schichten im DBN heißen Restricted Boltzmann Machines. Diese Ebenen können mit einem unüberwachten Lernalgorithmus (Contrastive Divergence) trainiert werden, der sehr schnell ist (hier ein Link ! Mit Details).
Noch ein paar Kommentare:
Die Lösungen, die mit tieferen neuronalen Netzen erhalten werden, entsprechen Lösungen, die schlechter abschneiden als die Lösungen, die für Netze mit 1 oder 2 verborgenen Schichten erhalten werden. Je tiefer die Architektur wird, desto schwieriger wird es, mit einem Deep NN eine gute Verallgemeinerung zu erzielen.
2006 entdeckte Hinton, dass in tieferen Architekturen viel bessere Ergebnisse erzielt werden können, wenn jede Schicht (RBM) mit einem unbeaufsichtigten Lernalgorithmus (Contrastive Divergence) vorab trainiert wird. Anschließend kann das Netzwerk mithilfe von Backpropagation überwacht trainiert werden, um die Gewichte zu "optimieren".
" Eine tiefe Neural Network ist ein Feed-forward, künstliches neuronales Netzwerk , das mehr als eine Schicht von verborgenen Einheiten zwischen seinen Eingängen und seine Ausgänge. Each versteckten Einheit, , verwendet in der Regel die logistische Funktion seines Gesamteingabe von der Schicht abzubilden unter , , in den skalaren Zustand, , den es an die Schicht sendet.x j y j (Ref. (1)) ".
Das heißt, wie von David erwähnt: " Deep-Believe-Netzwerke haben eine ungerichtete Verbindung zwischen den beiden obersten Schichten, wie in einem RBM ", was im Gegensatz zu standardmäßigen neuronalen Feed-Forward-Netzwerken steht. Im Allgemeinen betrifft das Hauptproblem in einem DNN das Training, das definitiv mehr als ein einschichtiges NN beinhaltet. (Ich arbeite nicht an NNs, es ist einfach passiert, dass ich die Zeitung kürzlich gelesen habe.)
Literatur: 1. Tiefe neuronale Netze für die akustische Modellierung in der Spracherkennung , von Geoffrey Hinton, Li Deng, Dong Yu, George Dahl, Mohamed Abdel-Rahman, Jaitly Navdeep, Andrew Senior, Vincent Vanhoucke, Patrick Nguyen, Tara Sainath und Brian Kingsbury im IEEE Signal Processing Magazine [82] Nov. 2012 ( Link zum Original Paper in MSR )
Ich bin froh, Alex 'Kommentare hier zu sehen. Ich habe den Leuten erklärt, dass DL ein typisches neuronales Netzwerk ist. Es gibt keinen Unterschied im Lernschema. Eine in c (70er Jahre) geschriebene frühere ANN bietet die Möglichkeit, mehrere ausgeblendete Ebenen einzurichten. Eigentlich habe ich getestet, ob mehr versteckte Schichten die Genauigkeit verbessern. Die Anzahl der Schichten unterscheidet DL nicht von ANN.
Ich hasse diese Art von Marketing-Begriffen. Jetzt haben wir so viele DL-Experten, die nicht wissen, dass DL tatsächlich ANN ist. Weil das Marketing so gut und stark ist, glauben die Leute, dass wir im Bereich des maschinellen Lernens große Fortschritte gemacht haben. Aber nichts ist neu!