Wo und warum glänzt Deep Learning?

Bei all den Mediengesprächen und dem Hype um Deep Learning in diesen Tagen habe ich ein paar grundlegende Informationen darüber gelesen. Ich habe gerade festgestellt, dass es nur eine andere Methode des maschinellen Lernens ist, Muster aus Daten zu lernen. Aber meine Frage ist: Woher kommt und warum diese Methode glänzt? Warum gerade jetzt so viel darüber geredet? Dh worum geht es in der Aufregung?

— Jack Twain
quelle

Schauen Sie sich Geoff Hintons und Andrew Ngs qualitative YouTube-Vorträge an, um einen einfachen Überblick darüber zu erhalten, warum es so gut ist.

— Jase

Antworten:

Die wichtigsten angeblichen Vorteile:

(1) Sie müssen keine Ingenieurfunktionen für nichtlineare Lernprobleme übergeben (sparen Zeit und sind für die Zukunft skalierbar, da die Handentwicklung von manchen als kurzfristiges Pflaster angesehen wird).

(2) Die erlernten Funktionen sind manchmal besser als die besten handgefertigten Funktionen und können so komplex sein (Computer Vision - z. B. Gesichtsmerkmale), dass das Entwickeln viel zu viel Zeit in Anspruch nimmt.

(3) Kann unbeschriftete Daten verwenden, um das Netzwerk vorab zu trainieren. Angenommen, wir haben 1000000 unbeschriftete Bilder und 1000 beschriftete Bilder. Wir können jetzt einen überwachten Lernalgorithmus drastisch verbessern, indem wir die 1000000 unbeschrifteten Bilder mit Tiefenlernen vorab trainieren. Außerdem haben wir in einigen Domänen so viele unbeschriftete Daten, aber beschriftete Daten sind schwer zu finden. Ein Algorithmus, der diese unbeschrifteten Daten zur Verbesserung der Klassifizierung verwenden kann, ist wertvoll.

(4) Empirisch wurden viele Benchmarks zerschlagen, bei denen bis zur Einführung von Deep-Learning-Methoden nur inkrementelle Verbesserungen zu verzeichnen waren.

(5) Der gleiche Algorithmus funktioniert in mehreren Bereichen mit Rohdaten (möglicherweise mit geringfügiger Vorverarbeitung).

(6) Verbessert sich ständig, wenn mehr Daten in das Netzwerk eingespeist werden (unter der Annahme stationärer Verteilungen usw.).

— Jase
quelle

Ein weiterer wichtiger Punkt ist, dass es sich um ein generatives Modell handelt (zumindest Deep Belief Nets), und dass Sie dies anhand der gelernten Verteilungen testen können Einige wichtige Vorteile ergeben sich in bestimmten Anwendungen, in denen Sie synthetische Daten entsprechend den erlernten Klassen / Clustern generieren möchten.

— Alex McMurray
quelle

Dies ist keine allgemeine Eigenschaft des Tiefenlernens, sondern des konkreten Modells. Sie können beispielsweise eine Stichprobe aus einem Gaußschen aber nicht aus einer logistischen Regression erstellen. Sie können auch aus einer Vielzahl von Deep-Learning-Modellen, z. B. Deep-Believe-Nets, Deep-Boltzmann-Maschinen, Deep-Latent-Gauß-Modellen usw., auswählen. Sie können jedoch nicht aus Drednets auswählen, die in all den eindrucksvollen Modellen verwendet wurden anwendungen.

— Bayerj

... Warum können Sie keine Stichprobe aus einer logistischen Regression ziehen?

— Hong Ooi

Gegeben ein LR-Modell

p (c | x)

$p(c|x)$ können Sie die am Eingang konditionierte Klasse abtasten. Sie können jedoch keine Eingabe abtasten. Es handelt sich also eher um eine Unterscheidung zwischen Unterscheidung zwischen Unterscheidung und Unterscheidung zwischen Unterscheidung und Unterscheidung zwischen Unterscheidung und Unterscheidung zwischen Unterscheidung und Unterscheidung zwischen Unterscheidung und Unterscheidung zwischen Unterscheidung und Unterscheidung.

— Bayerj

Dasselbe gilt jedoch für ein Gaußsches Regressionsmodell, wenn Sie damit eine grundlegende lineare Regression meinen.

— Hong Ooi