Wie erhöht sich der Gradient wie der Gradientenabstieg?

Ich lese den nützlichen Wikipedia-Eintrag zum Gradienten-Boosting ( https://en.wikipedia.org/wiki/Gradient_boosting ) und versuche zu verstehen, wie / warum wir die Residuen durch den steilsten Abstiegsschritt (auch Pseudo-Gradient genannt) approximieren können ). Kann mir jemand die Intuition geben, wie der steilste Abstieg mit den Residuen verbunden / ähnlich ist? Hilfe sehr geschätzt!

self-study gradient-descent

— Wouter
quelle

Angenommen, wir befinden uns in der folgenden Situation. Wir haben einige Daten , wobei jedes eine Zahl oder ein Vektor sein kann, und wir möchten eine Funktion bestimmen , die sich der Beziehung in dem Sinne , dass die kleinsten Quadrate Error: $\{ x_i, y_i \}$ $x_i$ $f$ $f(x_i) \approx y_i$

\frac{1}{2} \sum_{i} (y_{i} - f (x_{i}))^{2}

$\frac{1}{2} \sum_i (y_i - f(x_i))^2$

ist klein.

Nun stellt sich die Frage, wie die Domäne von aussehen soll. Eine entartete Wahl für die Domäne sind nur die Punkte in unseren Trainingsdaten. In diesem Fall können wir einfach , das die gesamte gewünschte Domäne abdeckt, und damit fertig sein. Ein runder Weg, um zu dieser Antwort zu gelangen, besteht darin, einen Gradientenabstieg mit diesem diskreten Raum als Domäne durchzuführen. Dies erfordert eine gewisse Änderung der Sichtweise. Betrachten wir den Verlust als Funktion des Punktes true und der Vorhersage (im Moment ist keine Funktion, sondern nur der Wert der Vorhersage). $f$ $f(x_i) = y$ $y$ $f$ $f$

L (f; y) = \frac{1}{2} (y - f)^{2}

$L(f; y) = \frac{1}{2} (y - f)^2$

und dann den Gradienten in Bezug auf die Vorhersage nehmen

\nabla_{f} L (f; y) = f - y

$\nabla_f L(f; y) = f - y$

Dann wird der Gradient Update, von einem Anfangswert des Startens ist $y_0$

y_{1} = y_{0} - \nabla_{f} (y_{0}, y) = y_{0} - (y_{0} - y) = y

$y_1 = y_0 - \nabla_f (y_0, y) = y_0 - (y_0 - y) = y$

Mit diesem Setup stellen wir unsere perfekte Vorhersage in einem Gradientenschritt wieder her, was sehr schön ist!

Der Fehler hierbei ist natürlich, dass wir viel mehr als nur an unseren Trainingsdatenpunkten definieren möchten . Dazu müssen wir einige Zugeständnisse machen, da wir die Verlustfunktion oder ihren Gradienten an keinem anderen Punkt als unserem Trainingsdatensatz bewerten können. $f$

Die große Idee ist, schwach zu approximieren . $\nabla L$

StartMit einer anfänglichen Schätzung von , fast immer einer einfachen konstanten Funktion , wird dies überall definiert. Generieren Sie nun einen neuen Arbeitsdatensatz, indem Sie den Gradienten der Verlustfunktion an den Trainingsdaten unter Verwendung der anfänglichen Schätzung für : $f$ $f(x) = f_0$ $f$

W = {x_{i}, f_{0} - y}

$W = \{ x_i, f_0 - y \}$

Now approximate $\nabla L$ durch schwachen Lerner Einpassen . Sagen wir die Annäherung bekommen . Wir haben eine Erweiterung der Daten über die gesamte Domäne in Form von , obwohl wir an den Trainingspunkten an Präzision verloren haben, da wir einen kleinen Lernenden passen. $W$ $F \approx \nabla L$ $W$ $F(X)$

FinallyVerwenden Sie anstelle von in der Gradientenaktualisierung von über die gesamte Domäne: $F$ $\nabla L$ $f_0$

f_{1} (x) = f_{0} (x) - F (x)

$f_1(x) = f_0(x) - F(x)$

Wir kommen aus , einer neuen Näherung von , etwas besser als . Beginnen Sie von mit und iterieren Sie, bis Sie zufrieden sind. $f_1$ $f$ $f_0$ $f_1$

Hoffentlich sehen Sie, dass es wirklich wichtig ist, den Gradienten des Verlusts zu approximieren. Bei der Minimierung der kleinsten Quadrate erfolgt dies in Form von rohen Residuen, in komplexeren Fällen jedoch nicht. Die Maschinerie gilt jedoch weiterhin. Solange man einen Algorithmus zur Berechnung des Verlusts und des Verlustgradienten an den Trainingsdaten konstruieren kann, können wir diesen Algorithmus verwenden, um eine Funktion zu approximieren, die diesen Verlust minimiert.

— Matthew Drury
quelle

Yah, ich denke das ist gut. Das Einzige, was Sie beachten müssen, ist, dass der Gradient, den wir erweitern, nicht mehr besteht, wenn Sie beispielsweise den Binomialverlust minimieren möchten auf natürliche Weise mit den Residuen verbunden.

\sum_{i} y_{i} \log (p_{i}) + (1 - y_{i}) \log (1 - p_{i})

$\sum_i y_i \log (p_i) + (1 - y_i) \log(1 - p_i)$

— Matthew Drury

Danke Matthew. Eine Sache, die ich versuche, meinen Kopf herumzukriegen. In der Literatur wird häufig angegeben, dass die F (m + 1) = F (m) + , wobei h (m) der schwache Lernende ist. Wenn ich an ein baumbasiertes Modell denke - bedeutet dies, dass wir sowohl für die Regression als auch für die Klassifizierung unsere Vorhersage für einen bestimmten Datenpunkt durch einfaches Addieren der Ergebnisse der beiden Modelle praktisch aktualisieren? funktioniert das auch, wenn wir versuchen, dies binär zu klassifizieren? oder sollte das + -Zeichen nicht so wörtlich interpretiert werden?

α_{m} * h (m)

$\alpha_m*h(m)$

— Wouter

Das Pluszeichen ist ganz wörtlich. Für baumbasierte schwache Lernende sollten die Modellvorhersagen jedoch als gewichteter Durchschnitt im Blatt interpretiert werden, selbst wenn der Baum an Binomialdaten angepasst ist. Beachten Sie jedoch, dass wir beim Boosten normalerweise nicht an Binomialdaten anpassen, sondern an den Gradienten der Wahrscheinlichkeit, der bei den Vorhersagen der vorherigen Stufe bewertet wurde und nicht mit bewertet wird.

0, 1

$0,1$

— Matthew Drury

@MatthewDrury Ich denke, in vielen Literaturstellen werden wir nicht direkt mit aktualisieren , sondern mit , wobei von 0 bis 1 eine Lernrate ist.

f_{1}

$f_1$

f_{0} - F (x)

$f_0-F(x)$

f_{0} - α * F (x)

$f_0-\alpha*F(x)$

α

$\alpha$

— Haitao Du

@ hxd1011 Ja, das ist absolut richtig und entscheidend für die erfolgreiche Verwendung der Gradientenverstärkung.

— Matthew Drury