Welche Beziehung besteht zwischen einer SVM und einem Scharnierverlust?

Mein Kollege und ich versuchen, uns mit dem Unterschied zwischen logistischer Regression und einer SVM auseinanderzusetzen. Offensichtlich optimieren sie verschiedene Zielfunktionen. Ist eine SVM so einfach wie zu sagen, dass sie ein diskriminierender Klassifikator ist, der einfach den Scharnierverlust optimiert? Oder ist es komplexer als das? Wie kommen die Unterstützungsvektoren ins Spiel? Was ist mit den Slack-Variablen? Warum können Sie keine tiefen SVMs haben, wie Sie kein tiefes neuronales Netzwerk mit Sigmoid-Aktivierungsfunktionen haben können?

Sie sind beide diskriminierende Modelle, ja. Die logistische Regressionsverlustfunktion ist konzeptionell eine Funktion aller Punkte. Richtig klassifizierte Punkte tragen nur sehr wenig zur Verlustfunktion bei und mehr, wenn sie nahe an der Grenze liegen. Die Punkte nahe der Grenze sind daher für den Verlust wichtiger und entscheiden daher, wie gut die Grenze ist.

SVM verwendet einen Scharnierverlust, bei dem die Grenzpunkte konzeptionell im Vordergrund stehen. Alles, was weiter als die nächstgelegenen Punkte entfernt ist, trägt aufgrund des "Scharniers" (des Maximums) in der Funktion nicht zum Verlust bei. Diese nächsten Punkte sind einfach die Unterstützungsvektoren. Daher reduziert es sich tatsächlich darauf, eine Grenze auszuwählen, die den größten Rand erzeugt - Abstand zum nächsten Punkt. Die Theorie ist, dass der Grenzfall alles ist, was für die Verallgemeinerung wirklich wichtig ist.

Der Nachteil ist, dass der Scharnierverlust nicht differenzierbar ist, aber das bedeutet nur, dass mehr Mathematik erforderlich ist, um herauszufinden, wie er über Lagrange-Multiplikatoren optimiert werden kann. Der Fall, in dem Daten nicht linear trennbar sind, wird nicht wirklich behandelt. Slack-Variablen sind ein Trick, mit dem diese Möglichkeit sauber in das Optimierungsproblem integriert werden kann.

Sie können den Scharnierverlust mit "Deep Learning" verwenden, z. B. http://arxiv.org/pdf/1306.0239.pdf