Möglicher Bereich von

10

Angenommen, es gibt drei Zeitreihen, , und $X_1$ $X_2$ $Y$

Laufende gewöhnliche lineare Regression auf ~ ( ), erhalten wir . Die gewöhnliche lineare Regression ~ erhält . Angenommen, $Y$ $X_1$ $Y = b X_1 + b_0 + \epsilon$ $R^2 = U$ $Y$ $X_2$ $R^2 = V$ $U < V$

Was sind die minimal und maximal möglichen Werte von bei der Regression ~ ( )? $R^2$ $Y$ $X_1 + X_2$ $Y = b_1 X_1 + b_2 X_2 + b_0 + \epsilon$

Ich glaube, das Minimum sollte + ein kleiner Wert sein, da das Hinzufügen neuer Variablen immer erhöht , aber ich weiß nicht, wie ich diesen kleinen Wert quantifizieren soll, und ich weiß nicht, wie ich den maximalen Bereich erhalten kann . $R^2$ $V$ $R^2$

regression multiple-regression r-squared

— Vendetta
quelle

9

1) BEARBEITEN: Der Kommentar von Kardinal unten zeigt, dass die richtige Antwort auf die min Frage . Daher lösche ich meine "interessante", aber letztendlich falsche Antwort auf diesen Teil des OP-Beitrags. $R^2$ $V$

2) Das Maximum ist 1. Betrachten Sie das folgende Beispiel, das zu Ihrem Fall passt. $R^2$

x1 <- rnorm(100)
x2 <- rnorm(100)
y <- x1 + 2*x2

> summary(lm(y~x1))$r.squared
[1] 0.2378023                 # This is U
> summary(lm(y~x2))$r.squared
[1] 0.7917808                 # This is V; U < V
> summary(lm(y~x1+x2))$r.squared
[1] 1

Hier legen wir die Varianz von auf 0 fest. Wenn Sie jedoch möchten , ändern sich die Dinge ein wenig. Sie können das beliebig nahe an 1 bringen, indem Sie kleiner machen, aber wie beim minimalen Problem können Sie nicht dorthin gelangen, also gibt es kein Maximum. 1 wird zum Supremum , da es immer größer als aber es ist auch die Grenze als . $\epsilon$ $\sigma^2_\epsilon > 0$ $R^2$ $\sigma^2_\epsilon$ $R^2$ $\sigma^2_\epsilon \to 0$

— jbowman
quelle

2

(+1) Einige Kommentare: Dies ist eine gute Antwort; es ist interessant , dass Sie einen asymptotischen Ansatz genommen haben , während es nicht klar, ob die OP in diesem oder, möglich interessiert war, eine Fest eine (oder beide). Diese Antwort ist ein wenig inkonsistent mit der Einschränkung des OP, dass ist, und wenn oder für einige ist, dann das Minimum für Alle festen Stichprobengrößen sind genau . (Entschuldigen Sie die Pathologie dieser Beispiele.) Außerdem ist OLS nicht unbedingt konsistent , wenn keine zusätzlichen Einschränkungen für die Prädiktoren vorliegen. :)

n

$n$

U < V

$U < V$

X_{1} = 0

$X_1 = 0$

X_{1} = a 1

$X_1 = a \mathbf{1}$

a \in R

$a \in \mathbb R$

R^{2}

$R^2$

V := V (n)

$V := V(n)$

— Kardinal

@cardinal - Beim erneuten Lesen kann ich nicht herausfinden, warum ich diesen Ansatz für das Min-Problem gewählt habe, wenn nun wie die offensichtlich richtige Antwort erscheint und ich, wie Sie implizit beobachtet haben, ein Beispiel hätte konstruieren können, mit dem dies erreicht wird die Ader des Maximalteils ... na ja, vielleicht war mein Espresso heute Morgen versehentlich entkoffeiniert. (Vielleicht sollte ich meine Antworten vor dem Posten auch gründlicher überprüfen!)

V

$V$

— jbowman

Ich glaube nicht , sollten Sie entfernen , was Sie geschrieben haben, was ich habe einen interessanten Ansatz finden , die Frage zu beantworten! Während die Pathologien, die ich erwähne, sicherlich ein Minimum von zulassen , könnte man sich fragen, was wirklich mit gemeint ist . Das andere Beispiel ist vielleicht nicht ganz so pathologisch, da es sich in einer allgemeinen Version dieses Problems auf den Fall erstreckt, in dem sich zusätzliches im Spaltenraum der anderen Prädiktoren befindet. :)

R^{2}

$R^2$

X_{1} = 0

$X_1 = 0$

X_{i}

$X_i$

— Kardinal

1

@ Cardinal - danke! Ich werde es rekonstruieren, vielleicht etwas formeller, und es in einer Weile wieder unten einfügen.

— Jbowman

5

Lassen gleich die Korrelation zwischen und , gleich der Korrelation zwischen und und der Korrelation zwischen und . Dann ist für das vollständige Modell geteilt durch gleich $r_{1,2}$ $X_1$ $X_2$ $r_{1,Y}$ $X_1$ $Y$ $r_{2,Y}$ $X_2$ $Y$ $R^2$ $V$

(\frac{1}{(1 - r_{1, 2}^{2})}) (1 - \frac{2 \cdot r_{1, 2} \cdot r_{1, Y}}{r_{2, Y}} + \frac{U}{V}) .

$\left(\frac{1}{(1 - r_{1,2}^2)}\right) \left(1 - \frac{2 \cdot r_{1,2} \cdot r_{1,Y}}{r_{2,Y}} + \frac{U}{V}\right).$

Also ist für das vollständige Modell nur dann gleich , wenn und oder $R^2$ $V$ $r_{1,2} = 0$ $r_{1,Y}^2 = U = 0$

r_{1, 2}^{2} = \frac{2 \cdot r_{1, 2} \cdot r_{1, Y}}{r_{2, Y}} - \frac{U}{V} .

$r_{1,2}^2 = \frac{2\cdot r_{1,2} \cdot r_{1,Y}}{r_{2,Y}} - \frac{U}{V}.$

Wenn , für das Vollmodell gleich . $r_{1,2} = 0$ $R^2$ $U + V$

— Margot
quelle

(+1) Süß. Willkommen auf der Website. Bitte registrieren Sie Ihr Konto, damit Sie besser teilnehmen können. Ich werde diesen Ausdruck später etwas genauer betrachten müssen. :)

— Kardinal

4

Ohne Einschränkungen für und ist das Minimum und das Maximum das kleinere . Dies liegt daran, dass zwei Variablen perfekt korreliert sein könnten (in diesem Fall ändert das Hinzufügen der zweiten Variablen das überhaupt nicht) oder sie könnten orthogonal sein, in welchem Fall beide Ergebnisse in . In den Kommentaren wurde zu Recht darauf hingewiesen, dass dies auch erfordert, dass jedes orthogonal zu , dem Spaltenvektor von 1s. $U$ $V$ $V$ $\min(V + U, 1)$ $R^2$ $U + V$ $\mathbf{1}$

Sie haben die Einschränkung hinzugefügt, die . Es ist jedoch immer noch möglich, dass . Das heißt, , in welchem Fall . Schließlich ist es möglich, dass so dass die Obergrenze immer noch . $U < V \implies X_{1} \neq X_{2}$ $U = 0$ $X_{1} \perp Y$ $\min = \max = V + 0$ $X_{1} \perp X_{2}$ $\min(V + U, 1)$

Wenn Sie mehr über die Beziehung zwischen und wüssten , könnten Sie wahrscheinlich mehr sagen. $X_{1}$ $X_{2}$

— Joshua
quelle

1

(+1) Beachten Sie jedoch, dass es nicht (ganz) wahr ist, dass wenn und orthogonal sind, sich ihre individuellen Werte summieren, wenn beide in das Modell aufgenommen werden. Wir auch brauchen , um sie auf die alle-ones orthogonal sein Vektor . Beachten Sie, dass Sie auf dieser Site zum Markieren der Mathematik verwenden können. :)

X_{1}

$X_1$

X_{2}

$X_2$

R^{2}

$R^2$

1

$\mathbf 1$

L A T E X

$\LaTeX$

— Kardinal

Das ist wahr. Vielen Dank für die Kommentare und den Hinweis, dass verwendet werden kann. Ich dachte, es könnte sein, hatte aber versucht, im Mathjax-Stil zu entkommen (und [für Inline / Gleichungen. Das Schreiben wie in TeX hat wie ein Zauber funktioniert :)

L A T E X

$\LaTeX$

— Joshua