Deep Learning vs. Entscheidungsbäume und Methoden fördern

18

Ich suche nach Artikeln oder Texten, die vergleichen und diskutieren (entweder empirisch oder theoretisch):

Boosting- und Entscheidungsbaum- Algorithmen wie Random Forests oder AdaBoost und GentleBoost werden auf Entscheidungsbäume angewendet.

mit

Deep Learning Methoden wie Restricted Boltzmann Machines , Hierarchical Temporal Memory , Convolutional Neural Networks , etc.

Kennt jemand einen Text, der diese beiden Blöcke von ML-Methoden in Bezug auf Geschwindigkeit, Genauigkeit oder Konvergenz beschreibt oder vergleicht? Ich suche auch nach Texten, die die Unterschiede (zB Vor- und Nachteile) zwischen den Modellen oder Methoden im zweiten Block erklären oder zusammenfassen.

Alle Hinweise oder Antworten, die sich direkt auf solche Vergleiche beziehen, wären sehr dankbar.

— Amelio Vazquez-Reina
quelle

1

Können Sie die Datentypen, die Sie betrachten, genauer beschreiben? Dies bestimmt zum Teil, welche Art von Algorithmus am schnellsten konvergiert.

Ich bin mir auch nicht sicher, wie man Methoden wie Boosten und DL vergleicht, da Boosten eigentlich nur eine Sammlung von Methoden ist. Welche anderen Algorithmen verwenden Sie beim Boosten?

Im Allgemeinen können DL-Techniken als Schichten von Codierern / Decodierern beschrieben werden. Unbeaufsichtigtes Vortraining arbeitet, indem zuerst jede Schicht vorab trainiert wird, indem das Signal codiert, das Signal decodiert und dann der Rekonstruktionsfehler gemessen wird. Die Optimierung kann dann verwendet werden, um eine bessere Leistung zu erzielen (z. B. wenn Sie gestapelte Autoencoder mit Rauschunterdrückung verwenden, können Sie die Rückübertragung verwenden).

Ein guter Ausgangspunkt für die DL-Theorie ist:

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.73.795&rep=rep1&type=pdf

sowie diese:

http://portal.acm.org/citation.cfm?id=1756025

(Entschuldigung, musste letzten Link wegen SPAM-Filtersystem löschen)

Ich habe keine Informationen zu RBMs aufgenommen, aber sie sind eng miteinander verbunden (obwohl es persönlich anfangs etwas schwieriger ist, sie zu verstehen).

— user5268
quelle

Danke @f (x), ich interessiere mich für die Klassifizierung von (2D- oder 3D-) Pixelsegmenten oder Patches, aber ich wollte die ursprüngliche Frage so allgemein wie möglich halten. Wenn verschiedene Methoden für verschiedene Arten von Datensätzen am besten funktionieren, würde mich eine Diskussion über diese Unterschiede interessieren.

— Amelio Vazquez-Reina

1

Im Allgemeinen werden DL-Methoden in Bezug auf die Bildverarbeitung als Merkmalsextraktoren fungieren, die dann mit SVMs gepaart werden können, um eine Klassifizierung durchzuführen. Diese Methoden sind im Allgemeinen mit handgefertigten Ansätzen wie SIFT, SURF und HOG vergleichbar. DL-Methoden wurden auf Video mit gated CRBMs und ISA erweitert. Zu den handgefertigten Methoden gehören HOG / HOF, HOG3d und eSURF (siehe Wang et al. 2009 für einen guten Vergleich).

— User5268

1

Tolle Frage! Sowohl adaptives Boosten als auch Deep Learning können als probabilistische Lernnetzwerke klassifiziert werden. Der Unterschied besteht darin, dass "Deep Learning" speziell ein oder mehrere "neuronale Netze" umfasst, wohingegen "Boosten" ein "Meta-Lernalgorithmus" ist, der ein oder mehrere Lernnetzwerke erfordert, die als schwache Lernende bezeichnet werden und "alles" sein können (d. H neuronales Netz, Entscheidungsbaum usw.). Der Boosting-Algorithmus verwendet eines oder mehrere seiner schwachen Lernernetzwerke, um einen so genannten "starken Lernenden" zu bilden, der die Gesamtergebnisse der Lernnetzwerke erheblich "steigern" kann (z. B. Microsofts Viola and Jones Face Detector, OpenCV).

— SensorVista
quelle