Testdifferenz zwischen zwei (angepassten) r ^ 2

Angenommen, ich habe zwei Regressionsmodelle, eines mit drei Variablen und eines mit vier. Jeder spuckt ein angepasstes r ^ 2 aus, das ich direkt vergleichen kann.

Natürlich ist das Modell mit dem höher eingestellten r ^ 2 die bessere Anpassung, aber gibt es eine Möglichkeit, die Differenz zwischen den beiden eingestellten r ^ 2 zu testen und einen p-Wert zu erhalten?

Ich weiß, dass Sie einen Chow-Test durchführen können, um den Unterschied zwischen Steigungen zu testen, aber das ist Varianz, also denke ich nicht, dass ich danach suche.

Bearbeiten: Ein Modell enthält nicht einfach eine Teilmenge von Variablen aus dem anderen Modell, sonst würde ich wahrscheinlich schrittweise Regression verwenden.

In Modell 1 habe ich vier Variablen: W, X, Y und Z.

In Modell 2 habe ich drei Variablen: W, X und (Y + Z) / 2.

Die Idee ist, dass, wenn Y und Z konzeptionell ähnlich sind, das Modell bessere Vorhersagen treffen kann, indem diese beiden Variablen vor der Eingabe in das Modell gruppiert werden.

regression

— Jeff
quelle

Sind die Modelle verschachtelt (dh sind die Modelle bis auf die eine Variable im Modell mit vier Variablen gleich?)

— Andy W

Gutes Q .. Nein, sind sie nicht, aber nah. Ein Modell verwendet vier Variablen, WXY und Z. Das andere Modell hat drei Variablen, WX und (Y + Z) / 2. Obwohl Y und Z im zweiten Modell gleich gewichtet sein können oder nicht.

— Jeff

Sie sollten Ihre Frage mit diesen Informationen aktualisieren, versuchen, die Modelle, die Sie mathematisch anpassen, aufzuschreiben und die Transformation in "Y und Z" und das, was Sie mit dieser Transformation erreichen möchten, so explizit wie möglich zu beschreiben.

— Andy W

Nun, bleiben wir vorerst bei einem einfachen Durchschnitt ... Q wurde aktualisiert, danke!

— Jeff

Ja, die Modelle sind verschachtelt. Um dies zu sehen, können Sie Modell 1 in W, X, (Y + Z) / 2 und (sagen wir) (YZ) / 2 umschreiben, um zu zeigen, dass Modell 2 nur eine Variable eliminiert.

— whuber

Antworten:

Wie Whuber sagte, handelt es sich tatsächlich um verschachtelte Modelle, und daher kann ein Likelihood-Ratio-Test angewendet werden . Da immer noch nicht genau klar ist, welche Modelle Sie angeben, werde ich sie in diesem Beispiel nur neu schreiben.

Modell 1 kann also sein:

$Y = a_1 + B_{11}(X) + B_{12}(W) + B_{13}(Z) + e_1$

Und Modell 2 kann sein (ich ignoriere die Division durch 2, aber diese Aktion hat keine Konsequenz für Ihre Frage):

$Y = a_2 + B_{21}(X) + B_{22}(W+Z) + e_2$

Welches kann umgeschrieben werden als:

$Y = a_2 + B_{21}(X) + B_{22}(W) + B_{22}(Z)+ e_2$

$B_{12}$ $B_{13}$ $\frac{W+Z}{2}$ $W+Z$

Modellanpassungsstatistiken (wie Mallows CP, der bereits von bill_080 erwähnt wurde, und andere Beispiele sind AIC und BIC ) werden häufig verwendet, um nicht verschachtelte Modelle zu bewerten. Diese Statistiken folgen keinen bekannten Verteilungen (wie die Log-Likelihood, Chi-Quadrat ), und daher kann den Unterschieden in diesen Statistiken zwischen Modellen kein p-Wert zugewiesen werden.

— Andy W.
quelle

Schauen Sie sich Mallow's Cp an:

Mallow's Cp

Hier ist eine verwandte Frage:

Gibt es eine Möglichkeit, die Regression nach einem bestimmten Kriterium zu optimieren?

— bill_080
quelle

Angesichts des Setups in Andy W Antwort, wenn man das Modell schätzt

$Y = a_3 + B_{31}(X) + B_{32}(W+Z) + B_{33}(Z) + e_3$

$B_{33}$ $B_{33}$ $B_{12}$ $B_{13}$ $B_{33}$

— mcfanda
quelle

R^{2}

$R^2$

Ja, der Inferenztest auf B_33 entspricht dem Testen der Differenz zwischen den beiden R ^ 2 (angepasst oder nicht) von Modell1 und Modell2

— mcfanda