Wie unterschiedlich ist die Support Vector Regression im Vergleich zu SVM?

Ich kenne die Grundlagen zu SVM und SVR, verstehe aber immer noch nicht, wie das Problem, eine Hyperebene zu finden, die den Spielraum maximiert, in SVR passt.

Zweitens habe ich etwas über gelesen, das als Toleranzspielraum in SVR verwendet wird. Was bedeutet es? $\epsilon$

Drittens gibt es einen Unterschied zwischen den in SVM und SVR verwendeten Entscheidungsfunktionsparametern?

regression machine-learning svm

— encodeflush
quelle

Ich habe versucht, es auf bildliche Weise mit der Seitenansicht stats.stackexchange.com/questions/82044/…

— Lejafar

Bei SVM, sowohl für die Klassifizierung als auch für die Regression, geht es darum, eine Funktion über eine Kostenfunktion zu optimieren. Der Unterschied liegt jedoch in der Kostenmodellierung.

Betrachten Sie diese Abbildung einer Support-Vektor-Maschine, die zur Klassifizierung verwendet wird.

Da unser Ziel eine gute Trennung der beiden Klassen ist, versuchen wir, eine Grenze zu formulieren, die einen möglichst breiten Rand zwischen den nächstgelegenen Instanzen (Unterstützungsvektoren) lässt, wobei Instanzen, die in diesen Rand fallen, durchaus möglich sind hohe Kosten verursachen (im Fall einer SVM mit weicher Marge).

$\epsilon$

$\xi_+, \xi_-$ $\epsilon$ Zone .

Dies gibt uns das Optimierungsproblem (siehe E. Alpaydin, Einführung in das maschinelle Lernen, 2. Auflage)

m ich n \frac{1}{2} | | w | |^{2} + C. \sum_{t} (ξ_{+} + ξ_{- -})

$min \frac{1}{2} ||w||^2 + C\sum_{t} (\xi_+ + \xi_-)$

vorbehaltlich

r^{t} - - (w^{T.} x + w_{0}) \leq ϵ + ξ_{+}^{t} (w^{T.} x + w_{0}) - - r^{t} \leq ϵ + ξ_{- -}^{t} ξ_{+}^{t}, ξ_{- -}^{t} \geq 0

$r^t - (\textbf{w}^T \textbf{x} + w_0) \leq \epsilon + \xi_{+}^{t}\\ (\textbf{w}^T \textbf{x} + w_0)-r^t \leq \epsilon + \xi_{-}^{t}\\ \xi_{+}^{t},\xi_{-}^{t} \geq 0$

Instanzen außerhalb des Bereichs einer Regressions-SVM verursachen Kosten bei der Optimierung. Das Ziel, diese Kosten im Rahmen der Optimierung zu minimieren, verfeinert unsere Entscheidungsfunktion, maximiert jedoch nicht den Spielraum, wie dies bei der SVM-Klassifizierung der Fall wäre.

Dies hätte die ersten beiden Teile Ihrer Frage beantworten sollen.

Zu Ihrer dritten Frage: Wie Sie vielleicht inzwischen aufgegriffen haben, $\epsilon$ ist ein zusätzlicher Parameter im Fall von SVR. Die Parameter einer regulären SVM bleiben also erhalten, also die Strafzeit $C$ sowie andere Parameter, die vom Kernel benötigt werden, wie z $\gamma$ im Fall des RBF-Kernels.

— deemel
quelle