Wie funktioniert eine Support Vector Machine (SVM) und was unterscheidet sie von anderen linearen Klassifikatoren wie dem linearen Perceptron , der linearen Diskriminanzanalyse oder der logistischen Regression ? *

(* Ich denke über die zugrunde liegenden Motivationen für den Algorithmus, Optimierungsstrategien, Generalisierungsfähigkeiten und Laufzeitkomplexität nach. )

Support-Vektor-Maschinen konzentrieren sich nur auf die Punkte, die am schwierigsten zu unterscheiden sind, während andere Klassifikatoren auf alle Punkte achten.

Die Intuition hinter dem Support Vector Machine-Ansatz ist, dass, wenn ein Klassifikator bei den schwierigsten Vergleichen gut ist (die Punkte in B und A, die in Abbildung 2 am nächsten beieinander liegen), der Klassifikator bei den einfachen Vergleichen noch besser ist ( Punkte in B und A vergleichen, die weit voneinander entfernt sind).

Perceptrons und andere Klassifikatoren:

Perceptrons werden gebildet, indem jeweils ein Punkt genommen und die Trennlinie entsprechend angepasst wird. Sobald alle Punkte getrennt sind, stoppt der Perzeptron-Algorithmus. Aber es könnte überall aufhören. Abbildung 1 zeigt, dass es eine Reihe verschiedener Trennlinien gibt, die die Daten trennen. Das Stoppkriterium des Perzeptrons ist einfach: "Trenne die Punkte und verbessere die Linie nicht mehr, wenn du einen 100% igen Abstand hast". Dem Perzeptron wird nicht ausdrücklich gesagt, dass es die beste Trennlinie finden soll. Logistische Regression und lineare Diskriminanzmodelle sind ähnlich aufgebaut wie Perzeptrone.

Die beste Trennlinie maximiert den Abstand zwischen den B-Punkten, die A am nächsten liegen, und den A-Punkten, die B am nächsten liegen. Es ist nicht erforderlich, alle Punkte zu betrachten, um dies zu tun. Tatsächlich kann das Einbeziehen von Feedback von weit entfernten Punkten die Linie ein wenig zu weit stoßen, wie unten dargestellt.

Support-Vektor-Maschinen:

Im Gegensatz zu anderen Klassifikatoren wird der Support Vector Machine explizit befohlen, die beste Trennlinie zu finden. Wie? Die Support-Vektor-Maschine sucht nach den nächsten Punkten (Abbildung 2), die sie "Support-Vektoren" nennt (der Name "Support-Vektor-Maschine" beruht auf der Tatsache, dass Punkte wie Vektoren sind und die beste Linie "von" oder "abhängt" wird von den nächstgelegenen Punkten "unterstützt").

Sobald das SVM die nächsten Punkte gefunden hat, zeichnet es eine Linie, die sie verbindet (siehe die Linie mit der Bezeichnung 'w' in Abbildung 2). Es zeichnet diese Verbindungslinie durch Vektorsubtraktion (Punkt A - Punkt B). Die Unterstützungsvektormaschine erklärt dann die beste Trennlinie als die Linie, die die Verbindungslinie halbiert und zu dieser senkrecht ist.

Die Support-Vektor-Maschine ist besser, da Sie bereits eine Linie erstellt haben, die B und A so weit wie möglich voneinander entfernt hält, wenn Sie eine neue Stichprobe (neue Punkte) erhalten die Linie in das Gebiet des anderen.

Ich betrachte mich als visuellen Lernenden und habe lange mit der Intuition hinter Support-Vektor-Maschinen zu kämpfen. Die Arbeit mit dem Titel Dualität und Geometrie in SVM-Klassifikatoren hat mir endlich geholfen, das Licht zu sehen. Von dort habe ich die Bilder bekommen.

Die Antwort von Ryan Zotti erklärt die Motivation für die Maximierung der Entscheidungsgrenzen. Die Antwort von carlosdc zeigt einige Ähnlichkeiten und Unterschiede zu anderen Klassifikatoren. Ich werde in dieser Antwort einen kurzen mathematischen Überblick darüber geben, wie SVMs trainiert und verwendet werden.

Notizen

Im Folgenden werden Skalare mit kursiven Großbuchstaben (z. B. ), Vektoren mit fetten Großbuchstaben (z. B. ) und Matrizen mit kursiven Großbuchstaben (z. B. ). ist die Transponierte von und .$y,\, b$$\mathbf{w},\, \mathbf{x}$$W$$\mathbf{w^T}$$\mathbf{w}$$\|\mathbf{w}\| = \mathbf{w}^T\mathbf{w}$

Lassen:

• $\mathbf{x}$ ist ein Merkmalsvektor (dh die Eingabe der SVM). , wobei die Dimension des Merkmalsvektors ist.$\mathbf{x} \in \mathbb{R}^n$$n$
• $y$ ist die Klasse (dh die Ausgabe der SVM). , dh die Klassifizierungsaufgabe ist binär.$y \in \{ -1,1\}$
• $\mathbf{w}$ und sind die Parameter der SVM: Wir müssen sie mit dem Trainingsset lernen.$b$
• $(\mathbf{x}^{(i)}, y^{(i)})$ ist das Beispiel im Datensatz. Nehmen wir an, wir haben Samples im Trainingsset.$i^ {\text {th}}$$N$

Mit kann man die Entscheidungsgrenzen der SVM wie folgt darstellen:$n=2$

Die Klasse wird wie folgt bestimmt:$y$

$$y^{(i)}=\left\{ \begin{array}{ll} -1 &\text{ if } \mathbf{w^T}\mathbf{x}^{(i)}+b \leq -1 \\ 1 &\text{ if } \mathbf{w^T}\mathbf{x}^{(i)}+b \ge 1 \\ \end{array} \right.$$

was genauer geschrieben werden kann als .$y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1$

Tor

Der SVM hat zum Ziel, zwei Anforderungen zu erfüllen:

1. Die SVM sollte den Abstand zwischen den beiden Entscheidungsgrenzen maximieren. Mathematisch bedeutet dies, dass wir den Abstand zwischen der durch definierten Hyperebene und der durch definierten Hyperebene maximieren möchten . Dieser Abstand entspricht . Das heißt, wir wollen lösen . Ebenso wollen wir .$\mathbf{w^T}\mathbf{x}+b = -1$$\mathbf{w^T}\mathbf{x}+b = 1$$\frac{2}{\|\mathbf{w}\|}$$\underset{\mathbf{w}}{\operatorname{max}} \frac{2}{\|\mathbf{w}\|}$$\underset{\mathbf{w}}{\operatorname{min}} \frac{\|\mathbf{w}\|}{2}$

2. Die SVM sollte auch alle korrekt klassifizieren , was bedeutet, dass$\mathbf{x}^{(i)}$$y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1, \forall i \in \{1,\dots,N\}$

Was uns zu folgendem quadratischen Optimierungsproblem führt:

$$\begin{align} \min_{\mathbf{w},b}\quad &\frac{\|\mathbf{w}\|}{2}, \\ s.t.\quad&y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1 &\forall i \in \{1,\dots,N\} \end{align}$$

Dies ist der SVM mit festem Rand , da dieses quadratische Optimierungsproblem eine Lösung zulässt, wenn die Daten linear trennbar sind.

Man kann die Beschränkungen lockern, indem man sogenannte Slack-Variablen einführt . Beachten Sie, dass jede Probe des Trainingssatzes eine eigene Slack-Variable hat. Dies ergibt das folgende quadratische Optimierungsproblem:$\xi^{(i)}$

$$\begin{align} \min_{\mathbf{w},b}\quad &\frac{\|\mathbf{w}\|}{2}+ C \sum_{i=1}^{N} \xi^{(i)}, \\ s.t.\quad&y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1 - \xi^{(i)},&\forall i \in \{1,\dots,N\} \\ \quad&\xi^{(i)}\ge0, &\forall i \in \{1,\dots,N\} \end{align}$$

Dies ist die SVM mit weichem Rand . ist ein Hyperparameter, der als Bestrafung des Fehlerausdrucks bezeichnet wird . ( Was ist der Einfluss von C in SVMs mit linearen Kernel? Und Suchbereich , die zur Bestimmung SVM optimale Parameter? ).$C$

Man kann noch mehr Flexibilität zu, indem eine Funktion Einführung , die bilden den ursprünglichen Merkmalsraum auf einen höherdimensionalen Merkmalsraum. Dies ermöglicht nichtlineare Entscheidungsgrenzen. Das quadratische Optimierungsproblem wird:$\phi$

$$\begin{align} \min_{\mathbf{w},b}\quad &\frac{\|\mathbf{w}\|}{2}+ C \sum_{i=1}^{N} \xi^{(i)}, \\ s.t.\quad&y^{(i)} (\mathbf{w^T}\phi \left(\mathbf{x}^{(i)}\right)+b) \ge 1 - \xi^{(i)},&\forall i \in \{1,\dots,N\} \\ \quad&\xi^{(i)}\ge0, &\forall i \in \{1,\dots,N\} \end{align}$$

Optimierung

Das quadratische Optimierungsproblem kann in ein anderes Optimierungsproblem umgewandelt werden, das Lagrange-Dual-Problem genannt wird (das vorherige Problem wird als primär bezeichnet ):

$$\begin{align} \max_{\mathbf{\alpha}} \quad &\min_{\mathbf{w},b} \frac{\|\mathbf{w}\|}{2}+ C \sum_{i=1}^{N} \alpha^{(i)} \left(1-\mathbf{w^T}\phi \left(\mathbf{x}^{(i)}\right)+b)\right), \\ s.t. \quad&0 \leq \alpha^{(i)} \leq C, &\forall i \in \{1,\dots,N\} \end{align}$$

Dieses Optimierungsproblem kann vereinfacht werden (indem einige Farbverläufe auf ), um:$0$

$$\begin{align} \max_{\mathbf{\alpha}} \quad & \sum_{i=1}^{N} \alpha^{(i)} - \sum_{i=1}^{N}\sum_{j=1}^{N} \left( y^{(i)}\alpha^{(i)}\phi\left(\mathbf{x}^{(i)}\right)^T \phi\left(\mathbf{x}^{(j)}\right) y^{(j)}\alpha^{(j)} \right), \\ s.t. \quad&0 \leq \alpha^{(i)} \leq C, &\forall i \in \{1,\dots,N\} \end{align}$$

$\mathbf{w}$ erscheint nicht als (wie vom Repräsentantensatz angegeben ).$\mathbf{w}=\sum_{i =1}^{N}\alpha^{(i)}y^{(i)}\phi\left(x^{(i)}\right)$

Wir lernen daher das mit dem des Trainingssatzes.$\alpha^{(i)}$$(\mathbf{x}^{(i)}, y^{(i)})$

(FYI: Warum sollte man sich beim Anpassen von SVM mit dem doppelten Problem beschäftigen? Kurze Antwort: Schnellere Berechnung + ermöglicht die Verwendung des Kernel-Tricks, obwohl es einige gute Methoden zum Trainieren von SVM im Urzustand gibt, z. B. siehe {1})

Eine Vorhersage machen

Sobald die gelernt sind, kann man die Klasse einer neuen Stichprobe mit dem Merkmalsvektor wie folgt vorhersagen :$\alpha^{(i)}$$\mathbf{x}^{\text {test}}$

$$\begin{align*} y^{\text {test}}&=\text {sign}\left(\mathbf{w^T}\phi\left(\mathbf{x}^{\text {test}}\right)+b\right) \\ &= \text {sign}\left(\sum_{i =1}^{N}\alpha^{(i)}y^{(i)}\phi\left(x^{(i)}\right)^T\phi\left(\mathbf{x}^{\text {test}}\right)+b \right) \end{align*}$$

Die Summe könnte überwältigend erscheinen, da man alle Trainingsmuster summieren muss, aber die überwiegende Mehrheit von ist (siehe Warum sind die Lagrange-Multiplikatoren sind für SVMs sparsam? ) In der Praxis ist dies also kein Problem. (Beachten Sie, dass man Sonderfälle konstruieren kann, in denen alle .) iff ist ein Unterstützungsvektor . Die obige Abbildung enthält 3 Unterstützungsvektoren.$\sum_{i =1}^{N}$$\alpha^{(i)}$$0$$\alpha^{{(i)}} > 0$$\alpha^{{(i)}}=0$$x^{{(i)}}$

Kernel-Trick

Man kann beobachten, dass das Optimierungsproblem das nur im inneren Produkt . Die Funktion, die dem inneren Produkt wird genannt ein kernel , auch bekannt als Kernfunktion, die oft von bezeichnet .$\phi\left(\mathbf{x}^{(i)}\right)$$\phi\left(\mathbf{x}^{(i)}\right)^T \phi\left(\mathbf{x}^{(j)}\right)$$\left(\mathbf{x}^{(i)},\mathbf{x}^{(j)}\right)$$\phi\left(\mathbf{x}^{(i)}\right)^T \phi\left(\mathbf{x}^{(j)}\right)$$k$

Man kann so wählen , dass das innere Produkt effizient berechnet werden kann. Dies ermöglicht die Verwendung eines potenziell großen Funktionsraums bei geringen Rechenkosten. Das nennt man den Kernel-Trick . Damit eine Kernelfunktion gültig ist , dh mit dem Kernel-Trick verwendet werden kann, müssen zwei Schlüsseleigenschaften erfüllt sein . Es gibt viele Kernelfunktionen zur Auswahl . Als Randnotiz kann der Kernel-Trick auf andere maschinelle Lernmodelle angewendet werden. In diesem Fall werden sie als kernelisiert bezeichnet .$k$

Weitergehen

Einige interessante QAs zu SVMs:

• Beste Methode zur Ausführung von SVM für mehrere Klassen
• Unterstützen Sie Vektormaschinen und Regression
• Verständnis der verschiedenen Formulierungen für SVM
• Was ist der Unterschied zwischen den -SVM, ell_2 -SVM und LS-SVM?$\ell_1$$\ell_2$
• So behandeln Sie einen unausgeglichenen Datensatz:
  • Der beste Weg, um unsymmetrische Multiklassendatensätze mit SVM zu behandeln
  • A priori Auswahl von SVM-Klassengewichten
• Wie interpretiert man SVM-Feature-Gewichte?
• Interpretation des C-Wertes in einer linearen SVM
• Generalisierungsgrenzen für SVM
• Allgemeine Formel für die VC-Dimension einer SVM
• Was bedeuten die "Maschine" in "Support Vector Machine" und "Restricted Boltzmann Machine"?
• Wie werden SVMs = Template Matching?
• Single Layer NeuralNetwork mit ReLU-Aktivierung gleich SVM?
• Vergleich von SVM und logistischer Regression

Andere Links:

• Stützvektormaschine der kleinsten Quadrate

---

Verweise:

• {1} Chapelle, Olivier. "Trainieren einer Support-Vektor-Maschine im Urzustand." Neuronale Berechnung 19, Nr. 5 (2007): 1155–1178. https://scholar.google.com/scholar?cluster=469291847682573606&hl=de&as_sdt=0,22 ; http://www.chapelle.cc/olivier/pub/neco07.pdf

Ich werde mich auf die Ähnlichkeiten und Unterschiede zu anderen Klassifikatoren konzentrieren:

• Von einem Perzeptron: SVM verwendet Gelenkverlust und L2-Regularisierung, das Perzeptron verwendet den Perzeptronverlust und könnte ein frühes Stoppen (oder unter anderen Techniken) für die Regularisierung verwenden, es gibt wirklich keinen Regularisierungsterm im Perzeptron. Da es keinen Regularisierungsterm gibt, muss das Perzeptron übertrainiert werden, daher können die Generalisierungsfähigkeiten willkürlich schlecht sein. Die Optimierung erfolgt durch stochastische Gradientenabsenkung und ist daher sehr schnell. Positiv zu vermerken ist, dass durch ein vorzeitiges Stoppen mit einer leicht modifizierten Verlustfunktion die Performance einer SVM gleichkommen kann.

• Aus der logistischen Regression: Die logistische Regression verwendet einen logistischen Verlustausdruck und kann eine L1- oder L2-Regularisierung verwenden. Sie können sich die logistische Regression als den diskriminierenden Bruder der generativen Naive-Bayes vorstellen.

• Aus LDA: LDA kann auch als generativer Algorithmus angesehen werden, der davon ausgeht, dass die Wahrscheinlichkeitsdichtefunktionen (p (x | y = 0) und p (x | y = 1) normal verteilt sind. Dies ist ideal, wenn die Daten in sind Tatsache normal verteilt. Es hat jedoch den Nachteil, dass "Training" die Inversion einer Matrix erfordert, die groß sein kann (wenn Sie viele Funktionen haben). Unter Homokedastizität wird LDA zu QDA, die für normal verteilte Daten optimal ist Annahmen sind erfüllt, die Sie wirklich nicht besser machen können.

Zur Laufzeit (Testzeit), wenn das Modell einmal trainiert wurde, ist die Komplexität all dieser Methoden dieselbe. Es handelt sich lediglich um ein Skalarprodukt zwischen der gefundenen Hyperebene, dem Trainingsvorgang und dem Datenpunkt.

Die Technik basiert auf dem Zeichnen einer Entscheidungsgrenze und lässt so viel Spielraum wie möglich für die ersten positiven und negativen Beispiele:

Wie in der obigen Abbildung können wir, wenn wir einen orthogonalen Vektor mit auswählen , ein Entscheidungskriterium für jedes unbekannte Beispiel , das als positiv der Form katalogisiert werden soll:$\lVert w \rVert=1$$\mathbf u$

$$\color{blue}{\mathbf w} \cdot {\mathbf u} \geq C$$

Dies entspricht einem Wert, bei dem die Projektion über die Entscheidungslinie hinaus in die Mitte der Straße platziert wird. Beachten Sie, dass .$\color{blue}{\mathbf w} \cdot {\mathbf u} = {\mathbf u} \cdot \color{blue}{\mathbf w}$

Eine äquivalente Bedingung für eine positive Probe wäre:

$$\color{blue}{\mathbf w}\cdot \mathbf u + b \geq 0 \tag 1$$

mit$C = - b.$

Wir brauchen und , um eine Entscheidungsregel zu haben, und um dorthin zu gelangen, brauchen wir Einschränkungen .$b$$\color{blue}{\mathbf w}$

Erste Eingrenzungs wir aufzuzwingen werden, ist , dass für jede positive Probe , ; und für negative Proben . In der Teilungsgrenze oder Hyperebene ( Median ) wäre der Wert , während die Werte an den Dachrinnen und :$\mathbf x_+,$$\color{blue}{\mathbf w}\cdot \mathbf x_+ + b \geq 1$$\color{blue}{\mathbf w}\cdot \mathbf x_- + b \leq -1$$0$$1$$-1$

Der Vektor ist der Gewichtungsvektor , während die Vorspannung ist .$\bf w$$b$

---

Um diese beiden Ungleichungen zusammenzuführen, können wir die Variable so einführen , dass für positive Beispiele und wenn die Beispiele negativ sind, und schließen$y_i$$y_i=+1$$y_i=-1$

$$y_i (x_i\cdot \color{blue}{\mathbf w} + b) -1\geq 0.$$

Wir stellen also fest, dass dies größer als Null sein muss, aber wenn sich das Beispiel auf den Hyperebenen (den "Rinnen") befindet, die den Abstand zwischen der Entscheidungshyperebene und den Spitzen der Stützvektoren maximieren (in diesem Fall Linien), dann:

$$y_i \,(x_i\cdot \color{blue}{\mathbf w} + b) -1 = 0\tag 2$$

Beachten Sie, dass dies dem Erfordernis von$y_i \,(x_i\cdot \color{blue}{\mathbf w} + b) = 1.$

---

Zweite Einschränkung : Der Abstand der Entscheidungshyperebene zu den Spitzen der Unterstützungsvektoren wird maximiert. Mit anderen Worten, der Abstand ("Straße") wird maximiert:

Unter der Annahme eines Einheitsvektors senkrecht zur Entscheidungsgrenze ist das Skalarprodukt mit dem Unterschied zwischen zwei "angrenzenden" Plus- und Minus-Beispielen die Breite von "der Straße" :$\mathbf w$

$$\text{width}= (x_+ \,{\bf -}\, x_-) \cdot \frac{w}{\lVert w \rVert}$$

Auf der obigen Gleichung und ist in der Rinne (auf Hyperebenen die Trennung maximieren). Für das positive Beispiel gilt daher: oder ; und für das negative Beispiel: . Also, umformulieren die Breite der Straße:$x_+$$x_-$ $({\mathbf x_i}\cdot \color{blue}{\mathbf w} + b) -1 = 0$${\mathbf x_+}\cdot \color{blue}{\mathbf w} = 1 - b$${\mathbf x_-}\cdot \color{blue}{\mathbf w} = -1 - b$

$$\begin{align}\text{width}&=(x_+ \,{\bf -}\, x_-) \cdot \frac{w}{\lVert w \rVert}\\[1.5ex] &= \frac{x_+\cdot w \,{\bf -}\, x_-\cdot w}{\lVert w \rVert}\\[1.5ex] &=\frac{1-b-(-1-b)}{\lVert w \rVert}\\[1.5ex] &= \frac{2}{\lVert w \rVert}\tag 3 \end{align}$$

So , jetzt müssen wir nur noch die Breite der Straße maximieren - also maximieren minimiert , oder minimieren:$\frac{2}{\lVert w \rVert},$$\lVert w \rVert$

$$\frac{1}{2}\;\lVert w \rVert^2 \tag 4$$

das ist mathematisch günstig.

---

Also wollen wir:

1. Minimiere mit der Einschränkung:$\lVert x\rVert^2$

2. $y_i(\mathbf w \cdot \mathbf x_i + b )-1=0$

---

Da wir diesen Ausdruck aufgrund einiger Einschränkungen minimieren möchten, benötigen wir einen Lagrange-Multiplikator (zurück zu den Gleichungen 2 und 4):

$$\mathscr{L} = \frac{1}{2} \lVert \mathbf w \rVert^2 - \sum \lambda_i \Big[y_i \, \left( \mathbf x_i\cdot \color{blue}{\mathbf w} + b \right) -1\Big]\tag 5$$

Differenzieren,

$$\frac{\partial \mathscr{L}}{\partial \color{blue}{\mathbf w} }= \color{blue}{\mathbf w} - \sum \lambda_i \; y_i \; \mathbf x_i = 0$$ .

Deshalb,

$$\color{blue}{\mathbf w} = \sum \lambda_i \; y_i \; \mathbf x_i\tag 6$$

Und Unterscheidung in Bezug auf$b:$

$$\frac{\partial \mathscr{L}}{\partial b}=-\sum \lambda_i y_i = 0,$$

was bedeutet, dass wir ein Nullsummenprodukt von Multiplikatoren und Labels haben:

$$\sum \lambda_i \, y_i = 0\tag 7$$

Gleichung (6) wieder in Gleichung (5) einfügen,

$$\mathscr{L} = \frac{1}{2} \color{purple}{\left(\sum \lambda_i y_i \mathbf x_i \right) \,\left(\sum \lambda_j y_j \mathbf x_j \right)}- \color{green}{\left(\sum \lambda_i y_i \mathbf x_i\right)\cdot \left(\sum \lambda_j y_j \mathbf x_j \right)} - \sum \lambda_i y_i b +\sum \lambda_i$$

Der vorletzte Term ist gemäß Gleichung (7) Null.

Deshalb,

$$\mathscr{L} = \sum \lambda_i - \frac{1}{2}\displaystyle \sum_i \sum_j \lambda_i \lambda_j\,\, y_i y_j \,\, \mathbf x_i \cdot \mathbf x_j\tag 8$$

Gleichung (8) ist der letzte Lagrange.

Daher hängt die Optimierung vom Skalarprodukt von Beispielpaaren ab.

Gehen Sie zurück zu der "Entscheidungsregel" in Gleichung (1) und verwenden Sie Gleichung (6):

$$\sum\; \lambda_i \; y_i \; \mathbf x_i\cdot \mathbf u + b \geq 0\tag 9$$

wird die endgültige Entscheidungsregel für einen neuen Vektor sein$\mathbf u.$

Einige Kommentare zu Dualitäts- und KTT-Bedingungen

Ursprüngliches Problem

Erinnern Sie sich daran, dass unser ursprüngliches oder ursprüngliches Optimierungsproblem bei @ Antonis Post zwischen den Gleichungen und Form hat:$(4)$$(5)$

$$\begin{aligned} \min_{w, b} f(w,b) & = \min_{w, b} \ \frac{1}{2} ||w||^2 \\ s.t. \ \ g_i(w,b) &= - y^{(i)} (w^T x^{(i)} + b) + 1 = 0 \end{aligned}$$

Lagrange-Methode

Die Methode der Lagrange-Multiplikatoren ermöglicht es uns, ein eingeschränktes Optimierungsproblem in ein nicht eingeschränktes der folgenden Form umzuwandeln:

$$\mathcal{L}(w, b, \alpha) = \frac{1}{2} ||w||^2 - \sum_i^m \alpha_i [y^{(i)} (w^T x^{(i)} + b) - 1]$$

Wobei als Lagrange bezeichnet wird und als Lagrange-Multiplikatoren . $\mathcal{L}(w, b, \alpha)$$\alpha_i$

Unser primäres Optimierungsproblem mit der Lagrange lautet wie folgt: (Beachten Sie, dass die Verwendung von , nicht die strengste ist, da wir hier auch und ...)$min$$max$$\inf$$\sup$

$$\min_{w,b} \left( \max_\alpha \mathcal{L}(w, b, \alpha)\right)$$

Duales Problem

Was @Antoni und Prof. Patrick Winston bei ihrer Herleitung getan haben, ist anzunehmen, dass die Optimierungsfunktion und die Einschränkungen einige technische Bedingungen erfüllen, so dass wir Folgendes tun können:

$$\min_{w,b} \left( \max_\alpha \mathcal{L}(w, b, \alpha)\right) = \max_\alpha \left( \min_{w,b} \mathcal{L}(w, b, \alpha)\right)$$

Dies ermöglicht es uns, die partiellen Ableitungen von in Bezug auf und , gleich Null zu sein und die Ergebnisse dann wieder in die ursprüngliche Gleichung des Lagrange zu setzen, wodurch ein Äquivalent erzeugt wird duales Optimierungsproblem des Formulars$\mathcal{L}(w, b, \alpha)$$w$$b$

$$\begin{aligned} &\max_{\alpha} \min_{w,b} \mathcal{L}(w,b,\alpha) \\ & \max_{\alpha} \sum_i^m \alpha_i - \frac{1}{2} \sum_{i,j}^m y^{(i)}y^{(j)} \alpha_i \alpha_j <x^{(i)} x^{(j)}> \\ & s.t. \ \alpha_i \geq 0 \\ & s.t. \ \sum_i^m \alpha_i y^{(i)} = 0 \end{aligned}$$

Dualität und KTT

Diese Bedingungen sind eine Kombination der Bedingungen Duality und Karush Kuhn Tucker (KTT) und ermöglichen es uns, das duale Problem anstelle des ursprünglichen zu lösen , wobei sichergestellt wird, dass die optimale Lösung dieselbe ist. In unserem Fall gelten folgende Bedingungen:

• Die Funktionen des primären Ziels und der Ungleichungsbeschränkung müssen konvex sein
• Die Gleichheitsbedingungsfunktion muss affin sein
• Die Einschränkungen müssen streng machbar sein

Dann gibt es die Lösungen für das ursprüngliche und das doppelte Problem sind. Darüber hinaus erfüllen die Parameter die folgenden KTT-Bedingungen:$w^*, \alpha^*$$w^*, \alpha^*$

$$\begin{aligned} &\frac{\partial}{\partial w_i} \mathcal{L}(w^*, \alpha^*, \beta^*) = 0 &(A) \\ &\frac{\partial}{\partial \beta_i} \mathcal{L}(w^*, \alpha^*, \beta^*) = 0 &(B) \\ &\alpha_i^* g_i(w^*) = 0 &(C) \\ &g_i(w^*) \leq 0 &(D) \\ &\alpha_i^* \geq 0 &(E) \end{aligned}$$

Wenn darüber hinaus einige die KTT-Lösungen erfüllen, sind sie auch eine Lösung für das primäre und das duale Problem.$w^*, \alpha^*$

Die obige Gleichung ist von besonderer Bedeutung und wird als duale Komplementaritätsbedingung bezeichnet . impliziert, dass wenn dann was bedeutet, dass die Bedingung aktiv ist, dh sie gilt eher mit Gleichheit als mit Ungleichheit. Dies ist die Erklärung für Gleichung in Antonis Herleitung, in der die Ungleichheitsbedingung in eine Gleichheitsbedingung umgewandelt wird.$(C)$$\alpha_i^* > 0$$g_i(w^*) = 0$$g_i(w) \leq 0$$(2)$

Ein intuitives, aber informelles Diagramm

Quellen

• Andrew Ng 1 und 2
• MIT