Warum verwenden Convolutional Neural Networks keine Support Vector Machine zur Klassifizierung?

In den letzten Jahren sind Convolutional Neural Networks (CNNs) zum Stand der Technik für die Objekterkennung in der Computersicht geworden. Typischerweise besteht ein CNN aus mehreren Faltungsschichten, gefolgt von zwei vollständig verbundenen Schichten. Eine Intuition dahinter ist, dass die Faltungsschichten eine bessere Darstellung der Eingabedaten lernen und die vollständig verbundenen Schichten dann lernen, diese Darstellung basierend auf einer Reihe von Beschriftungen zu klassifizieren.

Bevor jedoch CNNs zu dominieren begannen, waren Support Vector Machines (SVMs) Stand der Technik. Es erscheint daher sinnvoll zu sagen, dass eine SVM immer noch ein stärkerer Klassifikator ist als ein vollständig verbundenes neuronales Netzwerk mit zwei Schichten. Daher frage ich mich, warum CNNs nach dem neuesten Stand der Technik die vollständig verbundenen Schichten eher für die Klassifizierung als für eine SVM verwenden. Auf diese Weise hätten Sie das Beste aus beiden Welten: eine starke Feature-Repräsentation und einen starken Klassifikator anstelle einer starken Feature-Repräsentation, aber nur einen schwachen Klassifikator ...

Irgendwelche Ideen?

Es kann getan werden; Ein ICML-Workshoppapier, Deep Learning using Linear Support Vector Machines , Tang (2013) , hat genau dies durchgeführt und kleine, aber beständige Verbesserungen festgestellt. Es wird auch manchmal gemacht, CNNs auf die typische Weise zu trainieren, aber dann die Ausgabe einer späten Schicht als "Features" zu nehmen und eine separate SVM zu trainieren.

Beachten Sie jedoch, dass sie lineare SVMs verwendeten, und tatsächlich ist der Unterschied zwischen einer linearen SVM und einer logistischen Regression (die einer einzelnen Binärausgangsschicht mit Sigmoid-Aktivierung entspricht) recht gering. Die zusätzliche Ebene des Netzes, vorausgesetzt, Sie haben genug Daten, um es zu lernen, macht die letzten beiden Ebenen tatsächlich stärker als eine lineare SVM - obwohl Sie natürlich auch eine vollständig verbundene Sigmoid- oder ReLU-Ebene erstellen und dann eine SVM-Ebene als letzte einfügen könnten.

Außerdem sind Softmax-Aktivierungen für Mehrfachklassenausgaben natürlicher als SVMs für Mehrfachklassen, und ich denke, der SVM-Ansatz dieses Dokuments ist etwas rechenintensiver. Die Leute denken normalerweise einfach nicht, dass es sich lohnt.

Soweit ich sehen kann, gibt es zumindest einige Unterschiede:

1. CNNs arbeiten mit Bilddaten, während SVM ein allgemeinerer Klassifikator ist.
2. CNNs extrahieren Features, während SVM seine Eingabe einfach einem hochdimensionalen Raum zuordnet, in dem (hoffentlich) die Unterschiede zwischen den Klassen sichtbar werden.
3. Ähnlich wie bei 2. sind CNNs tiefe Architekturen, während SVMs flach sind.
4. Die Lernziele sind unterschiedlich: SVMs versuchen, die Marge zu maximieren, CNNs hingegen nicht (würden gerne mehr darüber erfahren).

Davon abgesehen können SVMs so gut wie CNNs funktionieren, vorausgesetzt, gute Funktionen werden mit einer guten Kernelfunktion verwendet.