Warum können verschiedene Modelltypen fast identische Ergebnisse liefern?

Ich habe einen Datensatz mit ~ 400.000 Datensätzen und 9 Variablen analysiert. Die abhängige Variable ist binär. Ich habe eine logistische Regression, einen Regressionsbaum, einen zufälligen Wald und einen Baum mit Gradientenverstärkung angepasst. Alle von ihnen geben praktisch identische Anpassungsgütezahlen an, wenn ich sie in einem anderen Datensatz validiere.

Warum ist das so? Ich vermute, das liegt daran, dass mein Verhältnis von Beobachtungen zu Variablen so hoch ist. Wenn dies richtig ist, bei welchem ​​Verhältnis von Beobachtung zu variablem Verhältnis werden verschiedene Modelle unterschiedliche Ergebnisse liefern?

Dieses Ergebnis bedeutet, dass Sie unabhängig von der von Ihnen verwendeten Methode der optimalen Entscheidungsregel (auch bekannt als Bayes-Regel ) einigermaßen nahe kommen können . Die zugrunde liegenden Gründe wurden in Hastie, Tibshirani und Friedmans "Elements of Statistical Learning" erläutert . Sie demonstrierten, wie die verschiedenen Methoden funktionieren, indem sie die Fig. 1 und 2 verglichen. 2.1, 2.2, 2.3, 5.11 (in meiner ersten Ausgabe - im Abschnitt über mehrdimensionale Splines), 12.2, 12.3 (Support Vector Machines) und wahrscheinlich einige andere. Wenn Sie dieses Buch nicht gelesen haben, müssen Sie JETZT alles fallen lassen und es nachlesen. (Ich meine, es lohnt sich nicht, Ihren Job zu verlieren, aber es lohnt sich, ein oder zwei Hausaufgaben zu verpassen, wenn Sie Student sind.)

Ich denke nicht, dass das Verhältnis von Beobachtungen zu Variablen die Erklärung ist. In Anbetracht meiner oben dargelegten Überlegungen ist es die relativ einfache Form der Grenze, die Ihre Klassen im mehrdimensionalen Raum trennt, die alle von Ihnen versuchten Methoden identifizieren konnten.

Es lohnt sich auch, die Trainingsfehler zu betrachten.

Grundsätzlich stimme ich Ihrer Analyse nicht zu. Wenn logistische Regressionen usw. alle die gleichen Ergebnisse liefern, würde dies darauf hindeuten, dass das „beste Modell“ sehr einfach ist (dass alle Modelle gleich gut passen können - z. B. im Grunde genommen linear).

Die Frage könnte also sein, warum das beste Modell ein einfaches Modell ist: Es könnte darauf hindeuten, dass Ihre Variablen nicht sehr prädiktiv sind. Es ist natürlich schwer zu analysieren, ohne die Daten zu kennen.

Wie @ seanv507 vorgeschlagen hat, kann die ähnliche Leistung einfach darauf zurückzuführen sein, dass die Daten am besten durch ein lineares Modell getrennt sind. Aber im Allgemeinen ist die Aussage, dass das Verhältnis von Beobachtungen zu Variablen so hoch ist, falsch. Selbst wenn Ihr Verhältnis von Stichprobengröße zu Anzahl der Variablen unendlich ist, sollten Sie nicht erwarten, dass verschiedene Modelle nahezu identisch funktionieren, es sei denn, sie bieten alle die gleiche prädiktive Tendenz.

Ich vermute, das liegt daran, dass mein Verhältnis von Beobachtungen zu Variablen so hoch ist.

Ich denke, diese Erklärung macht vollkommen Sinn.

Wenn dies richtig ist, bei welchem ​​Verhältnis von Beobachtung zu variablem Verhältnis werden verschiedene Modelle unterschiedliche Ergebnisse liefern?

Dies hängt wahrscheinlich sehr stark von Ihren spezifischen Daten ab (zum Beispiel, ob Ihre neun Variablen stetig sind, Faktoren, normal oder binär) sowie von allen Optimierungsentscheidungen, die Sie bei der Anpassung Ihres Modells getroffen haben.

Sie können jedoch mit dem Verhältnis von Beobachtung zu Variablen herumspielen - nicht indem Sie die Anzahl der Variablen erhöhen, sondern indem Sie die Anzahl der Beobachtungen verringern. Zeichnen Sie nach dem Zufallsprinzip 100 Beobachtungen, passen Sie Modelle an und prüfen Sie, ob unterschiedliche Modelle unterschiedliche Ergebnisse liefern. (Ich denke, das werden sie.) Tun Sie dies mehrmals mit verschiedenen Stichproben, die aus Ihrer Gesamtzahl der Beobachtungen gezogen wurden. Schauen Sie sich dann Teilproben von 1.000 Beobachtungen an ... 10.000 Beobachtungen ... und so weiter.