Support Vector Machines (SVMs) sind die Nulltemperaturgrenze der logistischen Regression?

Ich hatte kürzlich eine kurze Diskussion mit einem sachkundigen Freund, der erwähnte, dass SVMs die Nulltemperaturgrenze der logistischen Regression sind. Das Grundprinzip umfasste marginale Polytope und Fenchel-Dualität. Ich konnte nicht folgen.

Ist diese Aussage über SVMs als Nulltemperaturgrenze der logistischen Regression wahr? Und wenn ja, kann jemand das Argument beschreiben?

— ted
quelle

Beide sind verwandt, aber ich war es gewohnt, in der logistischen Regression besser zu denken, um die Wahrscheinlichkeit jeder Klasse zu ermitteln, während SVMs besser entscheiden können. Die logistische Regression passt also gut zur Bayes'schen Folgerung und bietet natürlich ein gewisses Maß an Vertrauen für jede Klassifizierung. SVMs hingegen würden besser skalieren, da nur die Unterstützungsvektoren die Klassifizierung beeinflussen. Das sind meine fünf Cent.

— Ailton Andrade de Oliveira

Dies gilt für SVM mit hartem Rand und linear trennbare Daten.

Eine intuitive Skizze: Der Verlust für jeden Datenpunkt in der logistischen Regression stirbt fast als exponentielle Abklingkurve ab, wenn Sie sich weiter von der Entscheidungsgrenze entfernen (natürlich in die richtige Richtung). Dieser exponentielle Abfall bedeutet, dass die Punkte, die der Grenze am nächsten liegen, viel mehr Verluste verursachen. Wenn die Temperatur auf 0 abfällt, dominieren die Punkte, die der Grenze am nächsten liegen, den Verlust vollständig, und der Verlust wird dadurch bestimmt, wie nahe die nächsten Punkte genau sind.

Die binäre logistische Regression hat den Kreuzentropieverlust: wobei die Bezeichnung und die vorhergesagte Wahrscheinlichkeit in . $- y \log p - (1-y)\log (1-p)$ $y$ $p$ $(0,1)$

Typischerweise ist wobei die Sigmoidfunktion ist. Aufgrund des in diesem Artikel vorgestellten Temperaturparameters vermute ich, dass sich die Temperatur auf eine Modifikation der Formulierung bezieht: $p = \sigma(w^Tx + b)$ $\sigma$ , wobeidie Temperatur ist und ich der Einfachheit halber den Bias-Term fallen gelassen habe. $p = \sigma(\frac{w^Tx}{\tau})$ $\tau$

Betrachtet man nur den ersten Term des Verlustes, . Nehmen Sie alle, denn alles andere würde bedeuten, dassauf der falschen Seite der Entscheidungsgrenze liegt und einen unendlichen Verlust als. Da der Exponentialterm im Grenzbereich sehr klein wird, verwenden wir die Taylor-Expansion erster Ordnung für, umzu schreiben $-y\log p = y\log(1+\exp{}(-\frac{w^Tx}{\tau}))$ $w^Tx > 0$ $x$ $\tau \rightarrow 0$ $\log(1+z)$ $-y\log p \approx y\exp{(-\frac{w^Tx}{\tau})}$

Bisher haben wir nur den Verlust für einen einzelnen Datenpunkt verwendet, aber der tatsächliche Verlust ist . Betrachten Sie nur positive Bezeichnungen (). Dann wird diese Summe von dem Term dominiert, bei demam kleinsten ist (am nächsten an der Entscheidungsgrenze). $\sum_i y_i \exp{(-\frac{w^Tx_i}{\tau})}$ $y_i = 1$ $w^Tx_i$

Dies ist zu sehen, weil das Verhältnis zwischen dem Term und dem Term $i$ $j$ $\frac{\exp (-w^T x_i/\tau)}{\exp (-w^T x_j/\tau)} = \exp(\frac{w^T x_j-w^T x_i}{\tau})$ $\tau \rightarrow 0$ $w^T x_i$

Ein symmetrisches Argument kann für den zweiten Term im Verlust verwendet werden.

Daher wird der Verlust des logistischen Regressionsproblems bei einem Temperaturanstieg auf 0 minimiert, indem der Mindestabstand zur Entscheidungsgrenze maximiert wird.

— Shimao
quelle