Unterstützen Sie Vektormaschinen und Regression

26

Es gibt bereits eine ausgezeichnete Diskussion darüber, wie Support-Vektor-Maschinen mit Klassifizierung umgehen, aber ich bin sehr verwirrt darüber, wie Support-Vektor-Maschinen zur Regression verallgemeinern.

Möchte mich jemand aufklären?

regression machine-learning svm

— Zach
quelle

17

Grundsätzlich verallgemeinern sie auf die gleiche Weise. Der kernelbasierte Ansatz für die Regression besteht darin, das Feature zu transformieren, es als in einen Vektorraum zu bezeichnen und dann in diesem Vektorraum eine lineare Regression durchzuführen. Um den 'Fluch der Dimensionalität' zu vermeiden, unterscheidet sich die lineare Regression im transformierten Raum etwas von gewöhnlichen kleinsten Quadraten. Das Ergebnis ist , dass die Regressions im transformierten Raum können ausgedrückt werden als , wobei sind Beobachtungen aus dem Trainingssatz, $\mathbf{x}$ $\ell(\mathbf{x}) = \sum_i w_i \phi(\mathbf{x_i}) \cdot \phi(\mathbf{x})$ $\mathbf{x_i}$ ist die Transformation, die auf Daten angewendet wird, und der Punkt ist das Punktprodukt. Somit wird die lineare Regression durch einige wenige (vorzugsweise sehr wenige) Trainingsvektoren "unterstützt". $\phi(\cdot)$

Alle die mathematischen Einzelheiten sind in der seltsamen Regression im transformierten Raum ( ‚Epsilon unempfindliche Röhre‘ oder was auch immer) und die Wahl der Transformation getan versteckt . Für einen Praktiker gibt es auch Fragen zu einigen freien Parametern (normalerweise in der Definition von und der Regression) sowie zur Featurisierung , bei der Domänenkenntnisse normalerweise hilfreich sind. $\phi$ $\phi$

— shabbychef
quelle

Ist dies aus der Sicht der Intuition fast wie eine Klassifikation mit einer Klasse, bei der die Klassenbegrenzungslinie durch die Punkte verläuft und nicht zwischen den Punkten zweier Klassen?

— Wayne

@ Wayne, das ist mein Verständnis, ja. Ich bin jedoch nicht 100%.

— Zach

5

SVM im Überblick: Wie funktioniert eine Support Vector Machine (SVM)?

In Bezug auf die Support Vector Regression (SVR) finde ich diese Folien von http://cs.adelaide.edu.au/~chhshen/teaching/ML_SVR.pdf ( mirror ) sehr klar:

Die Matlab-Dokumentation enthält auch eine anständige Erklärung und geht zusätzlich auf den Optimierungslösungsalgorithmus ein: https://www.mathworks.com/help/stats/understanding-support-vector-machine-regression.html ( mirror ).

Bisher wurde in dieser Antwort die sogenannte epsilon-unempfindliche SVM (ε-SVM) -Regression vorgestellt. Es gibt eine neuere Variante von SVM für jede Klassifikation der Regression: Die Vektormaschine mit den kleinsten Quadraten .

Zusätzlich kann SVR für Multi-Output, auch Multi-Target genannt, erweitert werden, z. B. siehe {1}.

Verweise:

{1} Borchani, Hanen, Gherardo Varando, Concha Bielza und Pedro Larrañaga. "Eine Umfrage zur Multi-Output-Regression." Interdisziplinäre Übersichten von Wiley: Data Mining und Knowledge Discovery 5, No. 5 (2015): 216 & ndash; 233. https://scholar.google.com/scholar?cluster=10208375872303977988&hl=de&as_sdt=0,14 ; https://web.archive.org/web/20170628222235/http://oa.upm.es/40804/1/INVE_MEM_2015_204213.pdf

— Franck Dernoncourt
quelle