Eine "signifikante Variable", die die Vorhersagen außerhalb der Stichprobe nicht verbessert - wie zu interpretieren?

Ich habe eine Frage, von der ich denke, dass sie für viele Benutzer ziemlich einfach sein wird.

Ich verwende lineare Regressionsmodelle, um (i) die Beziehung mehrerer erklärender Variablen und meiner Antwortvariablen zu untersuchen und (ii) meine Antwortvariable unter Verwendung der erklärenden Variablen vorherzusagen.

Eine bestimmte erklärende Variable X scheint meine Antwortvariable erheblich zu beeinflussen. Um den Mehrwert dieser erklärenden Variablen X für die Vorhersagen meiner Antwortvariablen außerhalb der Stichprobe zu testen, habe ich zwei Modelle verwendet: Modell (a), das alle erklärenden Variablen verwendet, und Modell (b), das alle Variablen verwendet mit Ausnahme der Variablen X. Für beide Modelle gebe ich ausschließlich die Leistung außerhalb der Stichprobe an. Es scheint, dass beide Modelle fast gleich gut abschneiden. Mit anderen Worten, das Hinzufügen der erklärenden Variablen X verbessert die Vorhersagen außerhalb der Stichprobe nicht. Beachten Sie, dass ich auch Modell (a) verwendet habe, dh das Modell mit allen erklärenden Variablen, um festzustellen, dass die erklärende Variable X meine Antwortvariable erheblich beeinflusst.

Meine Frage ist nun: Wie ist dieser Befund zu interpretieren? Die einfache Schlussfolgerung ist, dass die Variable X, obwohl sie meine Antwortvariable unter Verwendung von Inferenzmodellen signifikant zu beeinflussen scheint, die Vorhersagen außerhalb der Stichprobe nicht verbessert. Ich habe jedoch Probleme, diesen Befund weiter zu erklären. Wie kann dies möglich sein und was sind einige Erklärungen für diesen Befund?

Danke im Voraus!

Zusätzliche Informationen: Mit 'signifikantem Einfluss' meine ich, dass 0 nicht im höchsten 95% posterioren Dichteintervall der Parameterschätzung enthalten ist (ich verwende einen Bayes'schen Ansatz). Häufig entspricht dies in etwa einem p-Wert von weniger als 0,05. Ich verwende nur diffuse (nicht informative) Prioritäten für alle meine Modellparameter. Meine Daten haben eine Längsstruktur und enthalten insgesamt rund 7000 Beobachtungen. Für die Vorhersagen außerhalb der Stichprobe habe ich 90% der Daten verwendet, um meine Modelle anzupassen, und 10% der Daten, um die Modelle mithilfe mehrerer Replikationen zu bewerten. Das heißt, ich habe den Zugtest-Split mehrmals durchgeführt und schließlich die durchschnittlichen Leistungsmetriken angegeben.

x1x2x1x2x1x2x1x2$R^2$

Die Funktion ist:

sim_ES <- function (effect_size = 1, sd = 2, n = 200) {
    # simulate some data
    DF <- data.frame(x1 = runif(n, -3, 3), x2 = runif(n, -3, 3))
    DF$y <- 2 + 5 * DF$x1 + (effect_size * sd) * DF$x2 + rnorm(n, sd = sd)

    # fit the models with and without x2
    fm1 <- lm(y ~ x1 + x2, data = DF)
    fm2 <- lm(y ~ x1, data = DF)

    # results
    list("95% CIs" = confint(fm1),
         "R2_X1_X2" = summary(fm1)$r.squared,
         "R2_only_X1" = summary(fm2)$r.squared)
}

Als Beispiel für die Standardwerte, die wir erhalten,

$`95% CIs`
               2.5 %   97.5 %
(Intercept) 1.769235 2.349051
x1          4.857439 5.196503
x2          1.759917 2.094877

$R2_X1_X2
[1] 0.9512757

$R2_only_X1
[1] 0.8238826

x2$R^2$

Wenn wir jedoch die Effektgröße auf 0,3 einstellen, erhalten wir:

> sim_ES(effect_size = 0.3)
$`95% CIs`
                2.5 %    97.5 %
(Intercept) 1.9888073 2.5563233
x1          4.9383698 5.2547929
x2          0.3512024 0.6717464

$R2_X1_X2
[1] 0.9542341

$R2_only_X1
[1] 0.9450327

$R^2$

Dies ist eine ziemlich normale Sache, die bei multipler Regression auftritt. Der häufigste Grund ist, dass Ihre Prädiktoren miteinander verwandt sind. Mit anderen Worten, Sie können X aus den Werten der anderen Prädiktoren ableiten. Daher ist es zwar für Vorhersagen nützlich, wenn es der einzige Prädiktor ist, den Sie haben, aber sobald Sie alle anderen Prädiktoren haben, liefert es nicht viele zusätzliche Informationen. Sie können überprüfen, ob dies der Fall ist, indem Sie X auf die anderen Prädiktoren zurückführen. Ich würde auch auf das Kapitel über lineare Regression im kostenlosen Online-Lehrbuch Elemente des statistischen Lernens verweisen.