Ist Gradient Descent für kernelisierte SVMs möglich (wenn ja, warum wird quadratische Programmierung verwendet)?

21

Warum verwenden Leute Techniken der quadratischen Programmierung (wie SMO), wenn sie mit kernelisierten SVMs arbeiten? Was ist los mit Gradient Descent? Kann man es nicht mit Kerneln benutzen oder ist es einfach zu langsam (und warum?).

Hier ist ein wenig mehr Kontext: Um die SVMs ein bisschen besser zu verstehen, habe ich mit Gradient Descent einen linearen SVM-Klassifikator mit der folgenden Kostenfunktion trainiert:

$J(\mathbf{w}, b) = C {\displaystyle \sum\limits_{i=1}^{m} max\left(0, 1 - y^{(i)} (\mathbf{w}^t \cdot \mathbf{x}^{(i)} + b)\right)} \quad + \quad \dfrac{1}{2} \mathbf{w}^t \cdot \mathbf{w}$

Ich benutze die folgenden Notationen:

$\mathbf{w}$ ist die Feature-Gewichtung des Modells und ist sein Bias-Parameter. $b$
$\mathbf{x}^{(i)}$ ist der Merkmalsvektor der Trainingsinstanz. $i^\text{th}$
$y^{(i)}$ ist die Zielklasse (-1 oder 1) für die Instanz . $i^\text{th}$
$m$ ist die Anzahl der Trainingsinstanzen.
$C$ ist der Regularisierungs-Hyperparameter.

Aus dieser Gleichung habe ich einen (Sub-) Gradientenvektor (in Bezug auf und ) abgeleitet, und Gradient Descent hat einwandfrei funktioniert. $\mathbf{w}$ $b$

Jetzt möchte ich nichtlineare Probleme angehen. Kann ich einfach alle Punktprodukte durch in der Kostenfunktion ersetzen , wobei die Kernelfunktion ist (zum Beispiel)? der Gaußsche RBF, ), dann verwende die Berechnung, um abzuleiten einen (Sub-) Gradientenvektor und mit Gradient Descent fortfahren? $\mathbf{u}^t \cdot \mathbf{v}$ $K(\mathbf{u}, \mathbf{v})$ $K$ $K(\mathbf{u}, \mathbf{v}) = e^{-\gamma \|\mathbf{u} - \mathbf{v}\|^2}$

Wenn es zu langsam ist, warum ist das so? Ist die Kostenfunktion nicht konvex? Oder liegt es daran, dass sich die Steigung zu schnell ändert (sie ist nicht Lipschitz-stetig), sodass der Algorithmus während des Abstiegs immer wieder über Täler springt und daher sehr langsam konvergiert? Aber selbst dann, wie kann es schlimmer sein als die zeitliche Komplexität von Quadratic Programming, die ? Wenn es um lokale Minima geht, kann Stochastic GD mit simuliertem Tempern diese nicht überwinden? $O({n_\text{samples}}^2 \times n_\text{features})$

svm kernel-trick gradient-descent

— MiniQuark
quelle

6

Setze so dass und , mit , wobei ist eine Abbildung der ursprünglichen Eingabematrix $\mathbf w = \phi(\mathbf x)\cdot \mathbf u$ $\mathbf w^t \phi(\mathbf x)=\mathbf u^t \cdot \mathbf K$ $\mathbf w^t\mathbf w = \mathbf u^t\mathbf K\mathbf u$ $\mathbf K = \phi(\mathbf x)^t\phi(\mathbf x)$ $\phi(x)$ $\mathbf x$ . Dies ermöglicht es einem, die SVM durch die ursprüngliche Formulierung zu lösen. Verwenden Sie Ihre Notation für den Verlust:

J (w, b) = C \sum_{i = 1}^{m} m a x (0, 1 - y^{(i)} (u^{t} \cdot K^{(i)} + b)) + \frac{1}{2} u^{t} \cdot K \cdot u

$J(\mathbf{w}, b) = C {\displaystyle \sum\limits_{i=1}^{m} max\left(0, 1 - y^{(i)} (\mathbf{u}^t \cdot \mathbf{K}^{(i)} + b)\right)} + \dfrac{1}{2} \mathbf{u}^t \cdot \mathbf{K} \cdot \mathbf{u}$

ist eine Matrix und ist eine Matrix. Weder ist unendlich. $\mathbf{K}$ $m \times m$ $\mathbf{u}$ $m \times 1$

In der Tat ist das Dual in der Regel schneller zu lösen, aber das Primäre hat auch seine Vorteile, z. B. ungefähre Lösungen (die in der Dual-Formulierung nicht garantiert sind).

Nun, warum das Dual so viel prominenter ist, ist überhaupt nicht offensichtlich: [1]

Die historischen Gründe, aus denen die meisten Untersuchungen im letzten Jahrzehnt die doppelte Optimierung betrafen, sind unklar . Wir glauben, dass dies daran liegt, dass SVMs zum ersten Mal in ihrer Hard-Margin-Formulierung eingeführt wurden [Boser et al., 1992], für die eine doppelte Optimierung (aufgrund der Einschränkungen) natürlicher erscheint. Im Allgemeinen sollten jedoch SVMs mit weichem Rand bevorzugt werden, auch wenn die Trainingsdaten trennbar sind: Die Entscheidungsgrenze ist robuster, da mehr Trainingspunkte berücksichtigt werden [Chapelle et al., 2000].

Chapelle (2007) argumentiert , die Zeitkomplexität der beiden Ur - und Dual - Optimierung ist , am schlechtesten Fall ist , aber sie analysiert quadratische und ungefähre Scharnier Verluste, so keine richtige Scharnierverlust, da es nicht differenzierbar ist, mit Newtons Methode verwendet zu werden. $\mathcal{O}\left(nn_{sv} + n_{sv}^3\right)$ $\mathcal{O}\left(n^3\right)$

_{[1] Chapelle, O. (2007). Trainieren einer Support-Vektor-Maschine im Urzustand. Neuronale Berechnung, 19 (5), 1155-1178.}

— Firebug
quelle

1

+1 Könnten Sie vielleicht auch die zeitliche Komplexität erweitern

— seanv507

@ seanv507 danke, in der Tat hätte ich das ansprechen sollen, ich werde diese Antwort bald aktualisieren.

— Firebug

4

Wenn wir eine Transformation auf alle Eingabegewichtsvektoren ( ) anwenden , erhalten wir die folgende Kostenfunktion: $\phi$ $\mathbf{x}^{(i)}$

$J(\mathbf{w}, b) = C {\displaystyle \sum\limits_{i=1}^{m} max\left(0, 1 - y^{(i)} (\mathbf{w}^t \cdot \phi(\mathbf{x}^{(i)}) + b)\right)} \quad + \quad \dfrac{1}{2} \mathbf{w}^t \cdot \mathbf{w}$

Der Kernel - Trick ersetzt von . Da der Wichtungsvektor wird nicht transformiert, kann der Kernel Trick oben nicht auf die Kostenfunktion angewendet werden . $\phi(\mathbf{u})^t \cdot \phi(\mathbf{v})$ $K(\mathbf{u}, \mathbf{v})$ $\mathbf{w}$

Die obige Kostenfunktion entspricht der Urform des SVM-Ziels:

$\underset{\mathbf{w}, b, \mathbf{\zeta}}\min{C \sum\limits_{i=1}^m{\zeta^{(i)}} + \dfrac{1}{2}\mathbf{w}^t \cdot \mathbf{w}}$

unterliegt und für $y^{(i)}(\mathbf{w}^t \cdot \phi(\mathbf{x}^{(i)}) + b) \ge 1 - \zeta^{(i)})$ $\zeta^{(i)} \ge 0$ $i=1, \cdots, m$

Die duale Form ist:

$\underset{\mathbf{\alpha}}\min{\dfrac{1}{2}\mathbf{\alpha}^t \cdot \mathbf{Q} \cdot \mathbf{\alpha} - \mathbf{1}^t \cdot \mathbf{\alpha}}$

$\mathbf{y}^t \cdot \mathbf{\alpha} = 0$ $0 \le \alpha_i \le C$ $i = 1, 2, \cdots, m$

where $\mathbf{1}$ is a vector full of 1s and $\mathbf{Q}$ is an $m \times m$ matrix with elements $Q_{ij} = y^{(i)} y^{(j)} \phi(\mathbf{x}^{(i)})^t \cdot \phi(\mathbf{x}^{(j)})$ .

Now we can use the kernel trick by computing $Q_{ij}$ like so:

$Q_{ij} = y^{(i)} y^{(j)} K(\mathbf{x}^{(i)}, \mathbf{x}^{(j)})$

So the kernel trick can only be used on the dual form of the SVM problem (plus some other algorithms such as logistic regression).

Now you can use off-the-shelf Quadratic Programming libraries to solve this problem, or use Lagrangian multipliers to get an unconstrained function (the dual cost function), then search for a minimum using Gradient Descent or any other optimization technique. One of the most efficient approach seems to be the SMO algorithm implemented by the libsvm library (for kernelized SVM).

— MiniQuark
quelle

1

I'm not sure why you marked your answer Community Wiki. This seems like a perfectly valid answer to your question.

— Sycorax says Reinstate Monica

Thanks @GeneralAbrial. I marked my answer as Community Wiki to avoid any suspicion that I knew the answer before asking the question.

— MiniQuark

1

You should always do what you think is right, but it's perfectly kosher to ask and answer your own question.

— Sycorax says Reinstate Monica

Wait, couldn't you transform the weight vector to

w = ϕ (x) \cdot u

$\mathbf w = \phi(x)\cdot \mathbf u$ so that

w^{t} ϕ (x) = u \cdot K

$\mathbf w^t \phi(x)=\mathbf u \cdot \mathbf K$ and

w^{t} w = u^{t} K u

$\mathbf w^t\mathbf w = \mathbf u^t\mathbf K\mathbf u$ , with

K = ϕ^{t} ϕ

$\mathbf K = \phi^t\phi$ , and then optimize the sample weights

u

$\mathbf u$ ?

— Firebug

2

I might be wrong, but I don't see how we can replace the dot products with kernels without turning it into the dual problem.

The kernels map the input implicitly to some feature space where $x$ becomes $\phi(x)$ , the loss function then becomes
$J(\mathbf{w}, b) = C {\displaystyle \sum\limits_{i=1}^{m} max\left(0, 1 - y^{(i)} (\mathbf{w}^t \cdot \phi(\mathbf{x}^{(i)}) + b)\right)} \quad + \quad \dfrac{1}{2} \mathbf{w}^t \cdot \mathbf{w}$
If Gaussian kernel is applied, $\phi(\mathbf{x}^{(i)})$ will have ifinite dimensions, so will $\mathbf{w}$ .

It seems difficult to optimize a vector of infinite dimensions using gradient descent directly.

Update
Firebug's answer gives a way of replacing the dot products with kernels in the primal formulation.

— dontloo
quelle