Verwenden Boosting-Techniken Abstimmungen wie jede andere Ensemble-Methode?

Können wir alle Ensemblemethoden durch Abstimmung verallgemeinern? Verwenden Boosting-Methoden auch Abstimmungen, um die schwachen Lernenden in das endgültige Modell zu bringen?

Mein Verständnis der Technik:

• Boosting: Fügt kontinuierlich schwache Lernende hinzu, um die Datenpunkte zu verbessern, die nicht korrekt klassifiziert wurden.
• Ensemble-Technik: Verwendet mehrere Lernende, um eine bessere Vorhersage zu erhalten als von einem allein. Dies wird in Wikipedia erklärt.

Boosting kann allgemein als (gewichtetes) Voting verstanden werden

Im Falle des Boostings gibt einer seiner Erfinder in dieser Einführung zu AdaBoost (Schwerpunkt Mine) eine positive Antwort :

Die endgültige oder kombinierte Hypothese berechnet das Vorzeichen einer gewichteten Kombination schwacher Hypothesen Dies entspricht der Aussage, dass als gewichtete Mehrheitsabstimmung von berechnet wird die schwachen Hypothesen denen jeweils das Gewicht zugewiesen ist . (In diesem Kapitel verwenden wir die Begriffe "Hypothese" und "Klassifikator" synonym.)F ( x ) = T ∑ t = 1 α t h t ( x ) H h t α $H$

$$F(x) = \sum_{t=1}^T\alpha_th_t(x)$$ $H$ $h_t$$\alpha_t$

Ja, das endgültige Modell ist eine gewichtete Abstimmung aller schwachen Lernenden, die für diese Iteration geschult wurden. Ebenso finden Sie diesen Ausschnitt auf Wikipedia über Boosting im Allgemeinen:

Während das Boosten nicht algorithmisch eingeschränkt ist, bestehen die meisten Boosting-Algorithmen darin, schwache Klassifikatoren in Bezug auf eine Verteilung iterativ zu lernen und sie einem endgültigen starken Klassifikator hinzuzufügen. Wenn sie hinzugefügt werden, werden sie normalerweise in einer Weise gewichtet, die normalerweise mit der Genauigkeit der schwachen Lernenden zusammenhängt.

Beachten Sie auch die darin erwähnte Erwähnung, dass die ursprünglichen Boosting-Algorithmen eine "Mehrheit" verwendeten. Der Begriff der Abstimmung ist ziemlich fest in der Steigerung verankert: Sein Leitprinzip besteht darin, ein Ensemble bei jeder Iteration zu verbessern, indem ein neuer Wähler hinzugefügt wird und dann entschieden wird, wie viel Gewicht jeder Stimme gegeben werden soll.

Intuition gilt für das Beispiel der Gradientenverstärkung : Bei jeder Iteration finden wir einen neuen Lernenden , der an Pseudo-Residuen angepasst ist, und optimieren dann , um zu entscheiden, wie viel Gewicht "Stimme" geben .h m γ m h $m$$h_m$$\gamma_m$$h_m$

Die Erweiterung auf alle Ensemble-Methoden führt zu Gegenbeispielen

So wie es ist, würden einige feststellen, dass sogar der Begriff der Gewichtung die Wahlmetapher erweitert. Berücksichtigen Sie bei der Überlegung, ob diese Intuition auf alle Lernmethoden des Ensembles ausgedehnt werden soll, diesen Ausschnitt:

Ensembles kombinieren mehrere Hypothesen, um eine (hoffentlich) bessere Hypothese zu bilden. Der Begriff Ensemble ist normalerweise Methoden vorbehalten, die mehrere Hypothesen mit demselben Basislerner erstellen.

Und diese auf dem Beispiel Ensemble-Methode des Stapelns :

Beim Stapeln (manchmal auch als gestapelte Generalisierung bezeichnet) wird ein Lernalgorithmus trainiert, um die Vorhersagen mehrerer anderer Lernalgorithmen zu kombinieren. Zuerst werden alle anderen Algorithmen unter Verwendung der verfügbaren Daten trainiert, dann wird ein Kombiniereralgorithmus trainiert, um eine endgültige Vorhersage unter Verwendung aller Vorhersagen der anderen Algorithmen als zusätzliche Eingaben zu treffen. Wenn ein beliebiger Kombiniereralgorithmus verwendet wird, kann das Stapeln theoretisch jede der in diesem Artikel beschriebenen Ensemble-Techniken darstellen, obwohl in der Praxis häufig ein einschichtiges logistisches Regressionsmodell als Kombinierer verwendet wird.

Wenn Sie Ensemble-Methoden so definieren, dass sie Stapelmethoden mit einem beliebigen Kombinierer enthalten, können Sie Methoden erstellen, die meiner Ansicht nach den Begriff der Abstimmung über seine Grenzen hinaus erweitern. Es ist schwer zu erkennen, wie eine Sammlung schwacher Lernender, die über einen Entscheidungsbaum oder ein neuronales Netzwerk kombiniert werden, als "Abstimmung" angesehen werden kann. (Abgesehen von der ebenfalls schwierigen Frage, wann sich diese Methode als praktisch nützlich erweisen könnte.)

Einige Einführungen beschreiben Ensembles und Abstimmungen als synonym; Ich bin mit der neueren Literatur zu diesen Methoden nicht vertraut genug, um zu sagen, wie diese Begriffe in letzter Zeit allgemein angewendet werden, aber ich hoffe, diese Antwort gibt eine Vorstellung davon, wie weit der Begriff der Abstimmung reicht.

Das Boosten unterscheidet sich vom Absacken (Abstimmen). Ich sehe keine Möglichkeit, Boosting als "Abstimmung" zu interpretieren (weitere Details finden Sie in meiner Bearbeitung).

• Eine Abstimmung (insbesondere eine Mehrheitsentscheidung) bedeutet normalerweise eine kombinierte Entscheidung von "getrennten / weniger korrelierten" Wochenklassifikatoren.

• Beim Boosten bauen wir einen Klassifikator auf einen anderen. Sie sind also keine "getrennten Kollegen", sondern einer ist "weniger schwächer als der andere".

Meine Antworten hier geben eine Aufschlüsselung nach Iterationen.

Wie funktioniert Linear Base Leaner beim Boosten? Und wie funktioniert es in der xgboost-Bibliothek?

Das Beispiel versucht, eine quadratische Funktion zu approximieren, indem der Entscheidungsstumpf verstärkt wird.

• Die ersten beiden Diagramme sind Grundwahrheit und Boosting-Modell nach vielen Iterationen. Sie sind Konturdiagramme. Die X- und Y-Achse sind zwei Merkmale, und der Funktionswert wird durch die Farbe dargestellt.

• Dann zeige ich die ersten 4 Iterationen. Sie können sehen, dass wir nicht 4 Modelle mitteln / abstimmen, sondern das Modell über jede Iteration verbessern.

Nachdem ich eine andere Antwort gesehen habe, hängt die Antwort auf diese Frage davon ab, wie wir "Abstimmung" definieren. Betrachten wir die gewichtete Summe als Abstimmung? Wenn ja, dann können wir meiner Meinung nach immer noch sagen, dass Boosting durch Abstimmung verallgemeinert werden kann.