Ist es möglich, dass

In OLS ist es möglich, dass einer Regression für zwei Variablen höher ist als die Summe von für zwei Regressionen für die einzelnen Variablen. $R^2$ $R^2$

$R^2(Y \sim A + B) > R^2(Y \sim A) + R^2(Y \sim B)$

Edit: Ugh, das ist trivial; Das ist es, was ich bekomme, wenn ich versuche, Probleme zu lösen, an die ich im Fitnessstudio gedacht habe. Entschuldigen Sie, dass Sie wieder Zeit verschwendet haben. Die Antwort lautet eindeutig ja.

$Y \sim N(0,1)$

$A \sim N(0,1)$

$B = Y - A$

, klar. Aber sollte im Grenzwert 0 sein und sollte im Grenzwert 0,5 sein. $R^2(Y \sim A + B) = 1$ $R^2(Y \sim A)$ $R^2 (Y \sim B)$

regression least-squares

— bsdfish
quelle

Fragen Sie nach der Ungleichung in der Anzeigegleichung (mit der verbleibenden Quadratsumme ) oder fragen Sie nach einer Ungleichung mit dem Satz vor dieser Gleichung, dh mit

, dem Bestimmungskoeffizienten?

R^{2}

$R^2$

— Kardinal

Ich interessierte mich für

; bearbeitet, um das Problem zu beheben.

R^{2}

$R^2$

— bsdfish

Gut . Es gibt auch schöne geometrische Erklärungen.

— Kardinal

Sie können Ihre Antwort bearbeiten und als tatsächliche Antwort einfügen, damit die Frage nicht "unbeantwortet" bleibt.

— Karl

Gibt es eine Chance, dass wir eine intuitive Antwort darauf bekommen? Wenn

der Prozentsatz der erklärten Varianz ist, wie kann man dann mehr Varianz mit dem vollständigen Modell erklären als mit einem dedizierten Modell für jede Variable?

R^{2}

$R^2$

— kmace

Antworten:

Hier ist ein kleines Stück R, das einen zufälligen Startwert festlegt, der zu einem Datensatz führt, der ihn in Aktion zeigt.

set.seed(103)

d <- data.frame(y=rnorm(20, 0, 1),
                a=rnorm(20, 0, 1),
                b=rnorm(20, 0, 1))

m1 <- lm(y~a, data=d)
m2 <- lm(y~b, data=d)
m3 <- lm(y~a+b, data=d)

r2.a <- summary(m1)[["r.squared"]]
r2.b <- summary(m2)[["r.squared"]]
r2.sum <- summary(m3)[["r.squared"]]

r2.sum > r2.a + r2.b

Es ist nicht nur möglich (wie Sie bereits analytisch gezeigt haben), es ist auch nicht schwer zu tun. Bei 3 normalverteilten Variablen scheint dies in etwa 40% der Fälle der Fall zu sein.

— Benjamin Mako Hill
quelle

Beeindruckend. Ihr MIT-Jungs müsst mehr Zeit haben als allgemein angenommen ;-)

— xmjx

Ich war an einem langen Tag voller Besprechungen festgefahren. :)

— Benjamin Mako Hill

-1

Das ist nicht möglich. Wenn A und B überhaupt korreliert sind (wenn ihr r ungleich Null ist), ist der rsq der Regression auf beiden weniger als die Summe der rsq ihrer einzelnen Regressionen.

Beachten Sie, dass selbst wenn A und B vollständig unkorreliert sind, angepasste rsqs (die für ein niedriges Fall-zu-Prädiktor-Verhältnis benachteiligen) zwischen den beiden Lösungen geringfügig unterschiedlich sein können.

Vielleicht möchten Sie mehr über die empirischen Beweise erzählen, die Sie verärgert haben.

— rolando2
quelle

Vielleicht möchten Sie dies überdenken. Oder versuchen Sie es mit einer Simulation. :)

— Kardinal

A

$A$

B

$B$

X_{1}

$X_1$

X_{2}

$X_2$

A

$A$

B

$B$

Y

$Y$

X_{1}

$X_1$

0 < ρ < 1

$0 < \rho < 1$

X_{2} = ρ Y + \sqrt{1 - ρ^{2}} X

$X_2 = \rho Y + \sqrt{1-\rho^2} X$

R^{2}

$R^2$

X_{1}

$X_1$

R^{2}

$R^2$

X_{2}

$X_2$

R^{2}

$R^2$

X_{1} + X_{2}

$X_1+X_2$

X_{1} + X_{2}

$X_1 + X_2$

X_{1} \oplus X_{2}

$X_1 \oplus X_2$