Warum nicht immer Ensemble-Lernen verwenden?

Es scheint mir, dass das Lernen von Ensembles immer eine bessere Prognoseleistung liefert als mit nur einer einzelnen Lernhypothese.

Also, warum benutzen wir sie nicht die ganze Zeit?

Meine Vermutung liegt vielleicht an Recheneinschränkungen? (Selbst dann verwenden wir schwache Prädiktoren, also weiß ich es nicht).

Im Allgemeinen ist es nicht wahr, dass es immer besser abschneidet. Es gibt verschiedene Ensemblemethoden, von denen jede ihre Vor- und Nachteile hat. Welche zu verwenden ist, hängt vom jeweiligen Problem ab.

Wenn Sie beispielsweise Modelle mit hoher Varianz haben (diese passen über Ihre Daten hinaus), profitieren Sie wahrscheinlich von der Verwendung von Bagging. Wenn Sie voreingenommene Modelle haben, ist es besser, diese mit Boosting zu kombinieren. Es gibt auch verschiedene Strategien, um Ensembles zu bilden. Das Thema ist einfach zu weit gefasst, um es in einer Antwort zu behandeln.

Aber mein Punkt ist: Wenn Sie die falsche Ensemble-Methode für Ihre Einstellung verwenden, werden Sie es nicht besser machen. Zum Beispiel wird die Verwendung von Bagging mit einem voreingenommenen Modell nicht helfen.

Auch wenn Sie in einer probabilistischen Umgebung arbeiten müssen, funktionieren Ensemble-Methoden möglicherweise nicht. Es ist bekannt, dass Boosting (in seinen beliebtesten Formen wie AdaBoost) schlechte Wahrscheinlichkeitsschätzungen liefert. Das heißt, wenn Sie ein Modell haben möchten, mit dem Sie nicht nur die Klassifizierung, sondern auch die Daten beurteilen können, ist ein grafisches Modell möglicherweise besser geeignet.