Ensemble-Lernen bezieht sich auf eine ganze Reihe verschiedener Methoden. Boosting und Bagging sind wahrscheinlich die beiden häufigsten. Es scheint, dass Sie versuchen, eine Ensemble-Lernmethode namens Stapeln zu implementieren . Das Stapeln zielt darauf ab, die Genauigkeit zu verbessern, indem Vorhersagen aus mehreren Lernalgorithmen kombiniert werden. Es gibt eine ganze Reihe von Möglichkeiten zum Stapeln und nicht viel strenge Theorie. Es ist jedoch intuitiv und beliebt.
Betrachten Sie den Ansatz Ihres Freundes. Sie passen die Modelle der ersten Ebene auf vier von fünf Falten an und passen dann das Modell der zweiten Ebene (Abstimmung) mit denselben vier Falten an. Das Problem ist, dass die zweite Schicht das Modell mit dem geringsten Trainingsfehler bevorzugt. Sie verwenden dieselben Daten, um Modelle anzupassen und eine Prozedur zum Aggregieren dieser Modelle zu entwickeln. Die zweite Schicht sollte die Modelle mit Vorhersagen außerhalb der Stichprobe kombinieren . Ihre Methode ist besser, aber es gibt einen Weg, noch besser zu werden.
Wir werden weiterhin eine Falte für Testzwecke weglassen. Nehmen Sie die vier Falten und verwenden Sie den vierfachen Lebenslauf, um für jedes Modell der ersten Ebene für alle vier Falten Vorhersagen zu erhalten, die außerhalb der Stichprobe liegen. Das heißt, lassen Sie eine der vier Falten weg und passen Sie die Modelle auf die anderen drei an und sagen Sie sie dann auf den gehaltenen Daten voraus. Wiederholen Sie diesen Vorgang für alle vier Falten, damit Sie für alle vier Falten Vorhersagen erhalten, die außerhalb der Stichprobe liegen. Passen Sie dann das zweite Ebenenmodell an diese Vorhersagen außerhalb der Stichprobe an. Dann passen Sie die Modelle der ersten Schicht wieder auf alle vier Falten. Jetzt können Sie zu der fünften Falte gehen, die Sie noch nicht berührt haben. Verwenden Sie die Modelle der ersten Ebene, die auf alle vier Falten passen, zusammen mit dem Modell der zweiten Ebene, um den Fehler in den gehaltenen Daten abzuschätzen. Sie können diesen Vorgang mit den anderen Falzen wiederholen, die aus der Modellanpassung der ersten und zweiten Ebene herausgehalten werden.
Wenn Sie mit der Leistung zufrieden sind, generieren Sie für die Modelle der ersten Ebene Vorhersagen für alle fünf Falten, die außerhalb der Stichprobe liegen, und passen Sie dann das Modell der zweiten Ebene an diese an. Dann passen Sie die Modelle der ersten Ebene ein letztes Mal an alle Ihre Daten an und verwenden Sie diese mit dem Modell der zweiten Ebene für alle neuen Daten!
Zum Schluss einige allgemeine Hinweise. Sie werden mehr Nutzen daraus ziehen, wenn sich Ihre Modelle der ersten Ebene ziemlich stark voneinander unterscheiden. Sie sind hier auf dem richtigen Weg, wenn Sie SVM und Entscheidungsbäume verwenden, die sich ziemlich voneinander unterscheiden. Da das Modell der zweiten Ebene einen Durchschnittseffekt aufweist, können Sie versuchen, die Modelle der ersten Ebene inkrementell anzupassen, insbesondere dann, wenn Sie über viele Modelle verfügen. Die zweite Schicht ist im Allgemeinen etwas Einfaches und Einschränkungen wie Nicht-Negativität von Gewichten und Monotonie sind üblich. Denken Sie schließlich daran, dass das Stapeln auf einer Kreuzvalidierung beruht, die nur eine Schätzung des tatsächlichen Risikos darstellt. Wenn Sie sehr unterschiedliche Fehlerraten und sehr unterschiedliche Modellgewichte über mehrere Falten hinweg erhalten, weist dies darauf hin, dass Ihre auf dem Lebenslauf basierende Risikoschätzung eine hohe Varianz aufweist. In diesem Fall sollten Sie eine einfache Mischung in Betracht ziehenIhrer ersten Schicht Modelle. Sie können auch Kompromisse eingehen, indem Sie das maximale / minimale Gewicht für jedes Modell der ersten Ebene mit Einschränkungen stapeln.