Was sind einige der möglichen Konsequenzen des Hinzufügens von Junk-Steuerelementen in Ihrer Regression?

Angenommen, ich führe eine Regression durch, bei der meine abhängige Variable Mord ist und meine interessierende Variable der Zugang zu gewalttätigen Videospielen ist. Nehmen wir an, ich werfe auch das Spülbecken in Bezug auf meine Kontrollvariablen ein - ich habe 38 demografische Kontrollen, 30 kriminologische Kontrollen, die relevant sein können oder nicht, und so weiter. Einige dieser Steuerelemente können sogar unscharfe oder fehlerhafte Daten enthalten (Tippfehler, leere Zellen usw.). Was sind einige der negativen Folgen dieser schlampigen Regressionen?

Ein Student der Statistik sagte mir, dass diese Kontrollen keinen Einfluss auf den p-Wert zwischen der abhängigen Variablen und der interessierenden Variablen haben, selbst wenn die Koeffizienten auf den Kontrollen sinnlos sind. Aber wenn dies wahr wäre, warum werfen nicht alle Akademiker in ihrer Regression einfach das Spülbecken hinein? Ist es möglich, dass die p-Werte durch Hinzufügen von Junk-Steuerelementen kleiner werden?

regression generalized-linear-model multicollinearity

— Parseltongue
quelle

Hier ist eine Intuitionspumpe: wenn Sie haben

n

$n$ Proben verfügbar, aber mehr als hinzufügen

n

$n$ Küchenspüle Prädiktoren (ich liebe diesen Begriff übrigens), dann wird Ihre Regression haben

R^{2} = 1

$R^2=1$ und der Koeffizient für gewalttätige Videospiele kann alles sein. Sie haben zu viele Funktionen hinzugefügt, was zu einer Überanpassung und einem bedeutungslosen Ergebnis führte.

— Amöbe

Wir können die Formel für den Standardfehler eines Regressionskoeffizienten schreiben $\hat \beta_j$ wie

\sqrt{\frac{\sum_{i = 1}^{n} {\hat{u}}^{2}}{(n - k - 1) \sum_{i = 1}^{n} (x_{i j} - {\bar{x}}_{j})^{2} (1 - R_{j}^{2})}}

$\sqrt{\frac{\sum_{i=1}^n \hat u^2}{(n-k-1)\sum_{i=1}^n(x_{ij}-\bar x_j)^2(1-R^2_j)}}$

wo $\hat u^2$ sind die Regressionsreste, $n$ ist die Anzahl der Beobachtungen, $k$ ist die Anzahl der Regressoren und $R^2_j$ ist der $R^2$ aus einer Regression von $x_j$ auf alle anderen unabhängigen Variablen.

Wenn die zusätzlichen Variablen keine Auswirkung auf die abhängige Variable haben, ändern sich nur die Teile der Formel $k$ und $R^2_j$ Beides erhöht den Standardfehler und führt zu größeren p-Werten.

— Michael
quelle