Wie ist die Beziehung zwischen R-Quadrat und p-Wert in einer Regression?

tl; dr - Bedeutet ein höheres R-Quadrat für die OLS-Regression auch einen höheren P-Wert? Speziell für eine einzelne erklärende Variable (Y = a + bX + e), wäre aber auch interessiert, für n mehrere erklärende Variablen (Y = a + b1X + ... bnX + e) ​​Bescheid zu wissen.

Kontext - Ich führe eine OLS-Regression für eine Reihe von Variablen durch und versuche, die beste erklärende Funktionsform zu entwickeln, indem ich eine Tabelle erzeuge, die die R-Quadrat-Werte zwischen den linearen, logarithmischen usw. Transformationen jeder erklärenden (unabhängigen) Variablen enthält und die (abhängige) Antwortvariable. Das sieht ein bisschen so aus:

Variablenname --lineare Form-- --ln (Variable) --exp (Variable) - ... etc

Variable 1 ------- R-Quadrat ---- R-Quadrat ---- R-Quadrat -
... etc ...

Ich frage mich, ob R-Quadrat angemessen ist oder ob P-Werte besser wären. Vermutlich gibt es eine Beziehung, da eine signifikantere Beziehung eine höhere Erklärungskraft implizieren würde, aber nicht sicher ist, ob dies auf rigorose Weise zutrifft.

Die Antwort lautet nein, es gibt keine solche regelmäßige Beziehung zwischen und dem p-Wert der Gesamtregression, da ebenso stark von der Varianz der unabhängigen Variablen abhängt wie von der Varianz der Residuen (zu denen es gehört) ist umgekehrt proportional), und Sie können die Varianz der unabhängigen Variablen um beliebige Beträge ändern.R $R^2$$R^2$

Betrachten Sie als Beispiel einen beliebigen Satz multivariater Daten wobei die Fälle indiziert, und nehmen Sie an, dass der Wertesatz der ersten unabhängigen Variablen , , hat eine eindeutige maximale aus dem zweithöchsten Wert um einen positiven Betrag getrennt . Wenden Sie eine nichtlineare Transformation der ersten Variablen an, die alle Werte kleiner als in den Bereich sendet und selbst an einen großen Wert sendet . Für einen solcheni { x i 1 } x * ε x * - ε / 2 [ 0 , 1 ] x * M » 1 M x → a ( ( x - x 0 ) λ - 1 ) $((x_{i1}, x_{i2}, \ldots, x_{ip}, y_i))$$i$$\{x_{i1}\}$$x^*$$\epsilon$$x^* - \epsilon/2$$[0,1]$$x^*$$M \gg 1$$M$Dies kann zum Beispiel durch eine geeignete (skalierte) Box-Cox-Transformation von , wir sprechen also nicht über irgendetwas seltsam oder "pathologisch". Wenn willkürlich groß wird, nähert sich so genau, wie Sie möchten, unabhängig davon, wie schlecht die Anpassung ist, da die Varianz der Residuen begrenzt wird, während die Varianz der ersten unabhängigen Variablen asymptotisch proportional zu .M R 2 1 M $x \to a((x-x_0)^\lambda - 1)/(\lambda-1))$$M$$R^2$$1$$M^2$

Sie sollten stattdessen (neben anderen Techniken) Anpassungsgütetests verwenden , um ein geeignetes Modell für Ihre Untersuchung auszuwählen: Sie sollten sich über die Linearität der Anpassung und die Homoskedastizität der Residuen Gedanken machen . Nehmen Sie keine p-Werte aus der resultierenden Regression des Vertrauens: Sie werden nach Abschluss dieser Übung fast bedeutungslos, da ihre Interpretation davon ausgeht, dass die Wahl der Ausdrücke für die unabhängigen Variablen nicht von den Werten des abhängt abhängige Variable überhaupt, was hier sehr viel nicht der Fall ist.

Diese Antwort befasst sich nicht direkt mit der zentralen Frage; Es ist nichts weiter als ein paar zusätzliche Informationen, die für einen Kommentar zu lang sind.

Ich weise darauf diese, weil econometricstatsquestion kein Zweifel , wird diese Informationen begegnen, oder so etwas wie es an einem gewissen Punkt ( die besagt , dass und sind bezogen) und frage mich , ob die Informationen in anderen Antworten gegeben ist hier falsch - es ist nicht falsch - aber ich denke, es lohnt sich klar zu sein, was los ist.R $F$$R^2$

Unter bestimmten Umständen besteht eine Beziehung. Wenn Sie die Anzahl der Beobachtungen und die Anzahl der Prädiktoren für ein gegebenes Modell festhalten, ist in tatsächlich monoton , daR $F$$R^2$

(Wenn Sie Zähler und Nenner durch teilen und die Konstanten in herausziehen , können Sie sehen, dass wenn Sie und konstant halten.) k 1 / F ≤ 1 / R 2 - 1 N $R^2$$k$$1/F \propto 1/R^2 - 1$$N$$k$

Da für feste df und den p-Wert sind monoton bezogen, und die - Wert ist ebenfalls monoton bezogen.R 2$F$$R^2$$p$

Aber ändern Sie fast alles am Modell, und diese Beziehung gilt nicht für die veränderten Umstände.

Zum Beispiel das Hinzufügen macht einen Punkt größer und man macht es kleiner Entfernung aber entweder tun kann erhöhen oder verringern , so dass es aussieht wie und nicht notwendigerweise zusammen bewegen , wenn Sie fügen Daten hinzu oder löschen sie. Das Hinzufügen einer Variablen verringert , erhöht aber (und umgekehrt), so dass nicht unbedingt mit wenn Sie dies tun.R 2 F R 2 ( N - k ) / ( k - 1 ) R 2 R 2$(N-k)/(k-1)$$R^2$$F$$R^2$ $(N-k)/(k-1)$$R^2$$R^2$$F$

Natürlich , wenn Sie vergleichen und - Werte für Modelle mit unterschiedlichen Eigenschaften, ist diese Beziehung nicht unbedingt halten, wie whuber im Fall von nichtlinearen Transformationen unter Beweis gestellt.$R^2$$p$

Bedeutet ein höheres R-Quadrat für die OLS-Regression auch einen höheren P-Wert? Speziell für eine einzelne erklärende Variable (Y = a + bX + e)

Speziell für eine einzelne erklärende Variable lautet die Antwort bei gegebener Stichprobengröße Ja. Wie Glen_b erklärt hat, besteht eine direkte Beziehung zwischen und der Teststatistik (sei es ein oder ein ). Zum Beispiel ist, wie in dieser anderen Frage ( hohes Quadrat und hoher Wert für einfache lineare Regression ) für die einfache lineare Regression mit einer Kovariate (und einer Konstante) erklärt, die Beziehung zwischen und : F t R 2 p t R $R^2$$F$$t$$R^2$$p$$t$$R^2$

$|t| = \sqrt{\frac{R^2}{(1- R^2)}(n -2)}$

In diesem Fall ist die Statistik umso höher und der p-Wert umso niedriger , je höher ist, sobald Sie festlegen .R 2$n$$R^2$$t$

"wäre aber auch interessiert, für n mehrere erklärende Variablen (Y = a + b1X + ... bnX + e) ​​zu wissen."

Die Antwort ist dieselbe, aber anstatt nur eine Variable zu betrachten, betrachten wir jetzt alle Variablen zusammen - daher die Statistik, wie Glen_b gezeigt hat. Und hier müssen Sie sowohl als auch die Anzahl der Parameter festlegen . Oder, um es besser auszudrücken, die Freiheitsgrade festlegen.$F$$n$

Kontext - Ich führe eine OLS-Regression für eine Reihe von Variablen durch und versuche, die beste erklärende Funktionsform zu entwickeln (...)

Ok, das ist eigentlich ein anderes Problem. Wenn Sie nach der besten erklärenden Funktionsform suchen, sollten Sie sich auch mit Kreuzvalidierungstechniken befassen. Selbst wenn die Menge ist, die für Ihr Problem von Interesse ist (normalerweise nicht), kann es sehr irreführend sein, die am besten passende Stichprobe zu finden. In der Regel möchten Sie, dass Ihre Ergebnisse außerhalb der Stichprobe verallgemeinert werden und eine ordnungsgemäße Kreuzvalidierung erfolgt kann Ihnen dabei helfen, Ihre Daten nicht zu sehr zu überarbeiten.$R^2$

Und hier vermute ich, dass Sie "Vorhersagekraft" wollen (da Sie sagen, Sie wollen "die beste erklärende funktionale Form" finden). Wenn Sie beispielsweise kausale Schlussfolgerungen ziehen möchten, sind oder andere prädiktive Leistungsmetriken ohne strukturellere / fundiertere Kenntnisse des Problems wenig hilfreich.$R^2$