Von der „Stärke“ schwacher Lernender

Ich habe einige eng verwandte Fragen zu schwachen Lernenden im Ensemble-Lernen (z. B. Boosten).

1. Das hört sich vielleicht dumm an, aber was sind die Vorteile von schwachen Lernenden gegenüber starken Lernenden? (zB warum nicht mit "starken" Lernmethoden aufladen?)
2. Gibt es eine Art "optimale" Stärke für die schwachen Lernenden (z. B. während alle anderen Ensemble-Parameter unverändert bleiben)? Gibt es einen "Sweet Spot", wenn es um ihre Stärke geht?
3. Wie können wir die Stärke eines schwachen Lernenden in Bezug auf die resultierende Ensemblemethode messen? Wie können wir den Grenznutzen eines Ensembles quantitativ messen?
4. Wie vergleichen wir mehrere schwache Lernalgorithmen, um zu entscheiden, welche für eine bestimmte Ensemblemethode verwendet werden sollen?
5. Wenn eine bestimmte Ensemble-Methode eher schwachen als starken Klassifikatoren hilft, wie können wir dann feststellen, dass ein bestimmter Klassifikator bereits "zu stark" ist, um beim Boosten signifikante Gewinne zu erzielen?

Dies mag eher in Sackleinen sein, aber dennoch:

• Wenn Sie wirklich einen starken Lerner haben, müssen Sie ihn nicht durch Ensemblematerial verbessern.
• Ich würde sagen ... irrelevant. Wenn ein zu starker Klassifikator beim Mischen und Baggern trivial verstärkt wird, kann dies zu einigen Konvergenzbrüchen führen (dh eine glückliche Vorhersage kann die nächste Iteration zum Vorhersagen von reinem Rauschen und damit zum Verringern der Leistung führen).

• Auch dies ist nicht das eigentliche Problem. Der Kern dieser Methoden ist zu

  1. Zwingen Sie die Teilklassifizierer, das Problem genauer zu betrachten.
  2. Kombinieren Sie ihre Vorhersagen, um das Rauschen zu dämpfen und das Signal zu verstärken.

  1) braucht etwas Aufmerksamkeit beim Boosten (dh gutes Boosting-Schema, sich teilweise gut benehmender Lernender - dies ist jedoch hauptsächlich anhand von Experimenten zum gesamten Boosten zu beurteilen), 2) beim Absacken und Mischen (hauptsächlich um sicherzustellen, dass keine Korrelation zwischen Lernenden besteht und das Ensemble nicht überstimmen). Solange dies in Ordnung ist, ist die Genauigkeit des Teilklassifikators ein Problem dritter Ordnung.

Erstens sind die Begriffe "schwach" und "stark" nur schwach definiert. Aus meiner Sicht müssen sie relativ zum optimalen Bayes-Klassifikator definiert werden, der das Ziel jedes Trainingsalgorithmus ist. In diesem Sinne antworte ich auf drei der Punkte wie folgt.

1. Computational wie ich es sehe. Die meisten mir bekannten schwachen Lernenden sind rechnerisch schnell (und ansonsten nicht erwägenswert). Ein wichtiger Punkt beim Lernen von Ensembles ist genau, dass wir einfache und schnelle, aber nicht so gute Lerner kombinieren und die Fehlerquote verbessern können. Wenn wir stärkere (und rechenintensivere) Lernende einsetzen, wird der Spielraum für Verbesserungen kleiner, während die Rechenkosten größer werden, was die Verwendung von Ensemblemethoden weniger interessant macht. Darüber hinaus ist es möglicherweise einfacher, einen einzelnen starken Lernenden zu interpretieren. Was jedoch schwach und was stark ist, hängt vom Problem und der optimalen Bayes-Rate ab, die wir erreichen möchten. Wenn ein Lernender, der oft als stark eingestuft wird, beim Boosten noch Raum für Verbesserungen lässt und das Boosten rechnerisch machbar ist, dann tun Sie Boosten ...
2. Dies hängt von den Kriterien ab, nach denen Sie "optimal" messen. In Bezug auf die Fehlerrate würde ich nein sagen (ich begrüße jegliche Korrekturen, wenn andere eine andere Erfahrung haben). In Bezug auf die Geschwindigkeit vielleicht, aber ich würde mir vorstellen, dass dies sehr problemabhängig ist. Ich kenne keine Literatur zu diesem Thema, sorry.
3. ?
4. Kreuzvalidierung, Kreuzvalidierung, Kreuzvalidierung. Wie bei jedem anderen Vergleich von Trainingsmethoden mit dem Ziel, Vorhersagen zu treffen, benötigen wir unvoreingenommene Schätzungen des Generalisierungsfehlers für den Vergleich, die erreicht werden können, indem ein Testdatensatz beiseite gelegt oder durch Kreuzvalidierung angenähert wird.