Was ist das statistische Modell hinter dem SVM-Algorithmus?

Ich habe gelernt, dass der erste Schritt beim Umgang mit Daten mithilfe eines modellbasierten Ansatzes die Modellierung von Datenprozeduren als statistisches Modell ist. Der nächste Schritt ist die Entwicklung eines effizienten / schnellen Inferenz- / Lernalgorithmus basierend auf diesem statistischen Modell. Ich möchte also fragen, welches statistische Modell hinter dem SVM-Algorithmus (Support Vector Machine) steckt.

Oft kann man ein Modell schreiben, das einer Verlustfunktion entspricht (hier gehe ich eher auf die SVM-Regression als auf die SVM-Klassifikation ein; es ist besonders einfach).

Zum Beispiel in einem linearen Modell, wenn Ihre Verlustfunktion ist dann , dass die Minimierung der maximale Wahrscheinlichkeit entspricht , wird für f α exp ( $\sum_i g(\varepsilon_i) = \sum_i g(y_i-x_i'\beta)$= exp ( $f\propto \exp(-a\,g(\varepsilon))$ . (Hier habe ich einen linearen Kernel)$= \exp(-a\,g(y-x'\beta))$

Wenn ich mich richtig erinnere, hat die SVM-Regression eine Verlustfunktion wie diese:

Das entspricht einer Dichte, die in der Mitte mit exponentiellen Schwänzen gleichmäßig ist (wie wir sehen, indem wir das Negative oder ein Vielfaches des Negativen potenzieren).

Es gibt eine Familie mit drei Parametern: Eckstandort (relative Unempfindlichkeitsschwelle) plus Standort und Skalierung.

Es ist eine interessante Dichte; Wenn ich mich recht erinnere, dass ich diese bestimmte Verteilung vor einigen Jahrzehnten betrachtet habe, ist ein guter Schätzer für die Position dafür der Durchschnitt von zwei symmetrisch platzierten Quantilen, die der Stelle entsprechen, an der sich die Ecken befinden (z. B. in der Mitte) würde man eine gute Annäherung an MLE gibt besonder Wahl der Konstante im SVM-Verlust); Ein ähnlicher Schätzer für den Skalierungsparameter würde auf ihrer Differenz basieren, während der dritte Parameter im Wesentlichen der Ermittlung des Perzentils der Ecken entspricht (dies könnte eher gewählt als geschätzt werden, wie dies für SVM häufig der Fall ist).

Zumindest für die SVM-Regression scheint es also ziemlich einfach zu sein, zumindest wenn wir uns dafür entscheiden, unsere Schätzer mit maximaler Wahrscheinlichkeit zu erhalten.

(Für den Fall, dass Sie gleich fragen ... Ich habe keine Referenz für diese spezielle Verbindung zu SVM: Ich habe das gerade herausgefunden. Es ist jedoch so einfach, dass Dutzende von Leuten es ohne Zweifel vor mir herausgefunden haben es gibt referenzen dafür - ich habe gerade keine gesehen.)

Ich glaube, jemand hat Ihre Frage bereits beantwortet, aber lassen Sie mich eine mögliche Verwirrung beseitigen.

Ihre Frage ähnelt etwa der folgenden:

$f(x) = \ldots$

Mit anderen Worten, es ist sicherlich hat eine gültige Antwort (vielleicht sogar ein einzigartigen ein , wenn Sie Regelmäßigkeit Einschränkungen auferlegen), aber es ist eine ziemlich seltsame Frage zu stellen, da es nicht eine Differentialgleichung war, die zu dieser Funktion an erster Stelle gab.
(Auf der anderen Seite, die Differentialgleichung gegeben, es ist natürlich für seine Lösung zu fragen, da diese in der Regel ist , warum Sie die Gleichung schreiben!)

Hier ist der Grund: Ich denke, Sie denken an probabilistische / statistische Modelle - insbesondere generative und diskriminative Modelle, die auf der Schätzung gemeinsamer und bedingter Wahrscheinlichkeiten aus Daten basieren.

Die SVM ist weder. Es ist eine ganz andere Art von Modell - eines, das diese umgeht und versucht, die endgültige Entscheidungsgrenze direkt zu modellieren, die Wahrscheinlichkeiten sind verdammt.

Da es darum geht, die Form der Entscheidungsgrenze zu finden, ist die Intuition dahinter eher geometrisch (oder wir sollten vielleicht sagen, optimierungsbasiert) als probabilistisch oder statistisch.

Angesichts der Tatsache, dass Wahrscheinlichkeiten auf dem Weg nicht wirklich berücksichtigt werden, ist es eher ungewöhnlich zu fragen, was ein entsprechendes Wahrscheinlichkeitsmodell sein könnte, und zumal das gesamte Ziel darin bestand, sich keine Sorgen um Wahrscheinlichkeiten machen zu müssen. Deshalb sehen Sie keine Leute, die über sie sprechen.