Warum ist der Vektor w im SVM-Algorithmus orthogonal zur trennenden Hyperebene?

13

Ich bin ein Anfänger im maschinellen Lernen. In SVM ist die trennende Hyperebene definiert als . Warum sagen wir Vektor orthogonal zur trennenden Hyperebene? $y = w^T x + b$ $w$

machine-learning svm

— Chong Zheng
quelle

3

Eine Antwort auf eine ähnliche Frage (für neuronale Netze) finden Sie hier .

— Bogatron

@ Bogatron - Ich stimme dir vollkommen zu. Aber meine sind nur eine SVM-spezifische Antwort.

— untitledprogrammer

2

Nur dass es nicht so ist. Ihre Antwort ist richtig, aber es gibt nichts, was für SVMs spezifisch ist (und es auch nicht geben sollte).

ist einfach eine Vektorgleichung, die eine Hyperebene definiert.

w^{T} x = b

$w^{T}x=b$

— Bogatron

10

Geometrisch ist der Vektor w orthogonal zu der durch definierten Linie gerichtet . Dies kann wie folgt verstanden werden: $w^{T} x = b$

Nehmen Sie zuerst . Nun ist klar, dass alle Vektoren mit verschwindendem inneren Produkt mit diese Gleichung erfüllen, dh alle Vektoren orthogonal zu w erfüllen diese Gleichung. $b = 0$ $x$ $w$

Verschieben Sie nun die Hyperebene vom Ursprung weg über einen Vektor a. Die Gleichung für die Ebene lautet nun: , dh wir finden, dass für den Versatz die Projektion des Vektors auf den Vektor . $(x − a)^{T} w = 0$ $b = a^{T} w$ $a$ $w$

Ohne Verlust der Allgemeinheit können wir also eine Senkrechte zur Ebene wählen, in welchem Fall die Länge Dies ist der kürzeste orthogonale Abstand zwischen dem Ursprung und der Hyperebene. $\vert\vert a \vert\vert = \vert b \vert /\vert\vert w\vert\vert$

Daher soll der Vektor orthogonal zur trennenden Hyperebene sein. $w$

— Programmierer ohne Titel
quelle

4

Der Grund, warum normal zur Hyperebene ist, liegt darin, dass wir es so definieren: $w$

$P_0$ $P_0 = x_0, y_0, z_0$ $(0,0,0)$ $<x_0,y_0,z_0>$ $P (x,y,z)$ $P$ $P_0$

\vec{P} - \vec{P_{0}} =< x - x_{0}, y - y_{0}, z - z_{0} >

$\vec{P} - \vec{P_0} = <x-x_0, y-y_0, z-z_0>$

$\hat{n}$

\hat{n} ∙ (\vec{P} - \vec{P_{0}}) = 0

$\hat{n} \bullet (\vec{P}-\vec{P_0}) = 0$

\hat{n} ∙ \vec{P} - \hat{n} ∙ \vec{P_{0}} = 0

$\hat{n} \bullet \vec{P}- \hat{n} \bullet \vec{P_0} = 0$

- \hat{n} ∙ \vec{P_{0}}

$-\hat{n} \bullet \vec{P_0}$

b

$b$

\hat{n}

$\hat{n}$

w

$w$

\vec{P}

$\vec{P}$

x

$x$

w

$w$

— Shehryar Malik
quelle

2

$w^Tx + b = 0$ $x_a$ $x_b$

w^{T} x_{a} + b = 0 w^{T} x_{b} + b = 0

$\begin{equation} w^Tx_a + b = 0 \\ w^Tx_b + b = 0 \end{equation}$

$w^T.(x_a - x_b) = 0$ $x_a - x_b$ $x_b$ $x_a$ $w^T.(x_a - x_b)$ $w^T$ $x_a - x_b$

— adityagaydhani
quelle

0

Verwenden der algebraischen Definition eines Vektors, der orthogonal zu einer Hyperebene ist:

$\forall \ x_1, x_2$

w^{T} (x_{1} - x_{2}) = (w^{T} x_{1} + b) - (w^{T} x_{2} + b) = 0 - 0 = 0 ◻ .

$w^T(x_1-x_2)=(w^Tx_1 + b)-(w^Tx_2 + b)=0-0=0 \ \small\Box.$

— Indominus
quelle