Bitte klären Sie mich mit Platt's SMO-Algorithmus (für SVM) auf.

Angenommen, ich verwende einen linearen Kernel. Wie kann ich sowohl das erste als auch das zweite innere Produkt erhalten?

Meine Vermutung, inneres Produkt von Datenpunkt mit Datenpunkt j bezeichnet Klasse A für das erste innere Produkt der Gleichung und inneres Produkt von Datenpunkt j mit Datenpunkten bezeichnet Klasse B für zweites inneres Produkt?

svm

— Vincent Benedict Victor
quelle

Du hast das richtig verstanden. Der Punkt ist, dass Gleichung (8) nicht genau eine Gleichung ist, sondern ein Gleichungssystem, eines für jeden Index der Unterstützungsvektoren (diese) für jede .

y_{ich} (< w, ϕ_{ich} > + b) - - 1 = 0

$y_i(<\textbf{w}, \phi_i> + b) - 1 = 0$

i

$i$

0 < α_{i} < C

$0<\alpha_i<C$

Der Punkt ist, dass Sie während der Optimierung des dualen Problems nicht berechnen können, da es für die Optimierung keine Rolle spielt. Sie müssen zurückgehen und aus allen anderen Gleichungen berechnen, die Sie haben (ein möglicher Weg ist (8)). $b$ $b$

Vapnick schlägt vor, nicht nur eine dieser Gleichungen zu verwenden, sondern zwei davon, insbesondere einen Unterstützungsvektor für eine negative Beobachtung und einen für eine positive Beobachtung. Mit anderen Worten zwei Unterstützungsvektoren, die entgegengesetzte Vorzeichen für . $y_i$

Nennen wir $A$ der Index eines Unterstützungsvektors und $B$ der Index eines Unterstützungsvektors der gegenüberliegenden Seite, baiskal wählen Sie aus dem Gleichungssystem bei (8) nur zwei davon aus. Bewerten Sie beide und nehmen Sie den Mittelwert.

Von:

y_{EIN} (< w, ϕ_{EIN} > + b) = 1

$y_A(<\textbf{w},\phi_A>+b)=1$

y_{B.} (< w, ϕ_{B.} > + b) = 1

$y_B(<\textbf{w}, \phi_B>+b)=1$ Wir bekommen:

b_{EIN} = \frac{1}{y_{EIN}} - - < w, ϕ_{EIN} >

$b_A=\frac{1}{y_A}-<\textbf{w},\phi_A>$

b_{B.} = \frac{1}{y_{B.}} - - < w, ϕ_{B.} >

$b_B=\frac{1}{y_B}-<\textbf{w},\phi_B>$ Wo

b_{A}

$b_A$ und

b_{B}

$b_B$ sind zwei Schätzungen, dann ist der Mittelwert

b = (b_{EIN} + b_{B.}) /. 2 = - - \frac{1}{2} (< w, ϕ_{EIN} > + < w, ϕ_{B.} >) = - - \frac{1}{2} \sum_{ich = 1}^{n} y_{ich} α_{ich} (< ϕ (x_{ich}), ϕ (x_{EIN}) > + < ϕ (x_{ich}), ϕ (x_{B.}) >)

$b = (b_A+b_B)/2 = -\frac{1}{2}(<\textbf{w},\phi_A>+<\textbf{w},\phi_B>)=-\frac{1}{2}\sum_{i=1}^{n}y_i\alpha_i(<\phi(x_i),\phi(x_A)>+<\phi(x_i),\phi(x_B)>)$

— Rapaio
quelle