Hat -squared einen Wert?

18

Ich habe mich verwirrt zu verstehen versucht, ob ein $r$ Quadrat-Wert auch einen Wert hat $p$ .

Wie ich es verstehe, kann in linearer Korrelation mit einer Menge von Datenpunkten $r$ einen Wert im Bereich von $-1$ bis $1$ und dieser Wert kann, was auch immer er ist, einen Wert haben, $p$ der zeigt, ob $r$ signifikant von verschieden ist $0$ (d. H , wenn eine lineare Korrelation zwischen den beiden Variablen besteht).

Um zur linearen Regression , kann eine Funktion an die Daten angepasst werden, die durch die Gleichung $Y = a + bX$ . $a$ und $b$ (Achsenabschnitt und Steigung) haben ebenfalls $p$ Werte, um anzuzeigen, ob sie sich signifikant von $0$ .

Angenommen, ich habe bis jetzt alles richtig verstanden, sind der $p$ Wert für $r$ und der $p$ Wert für $b$ dasselbe? Ist es dann richtig zu sagen, dass es nicht $r$ Quadrat ist, das einen Wert hat $p$ , sondern $r$ oder $b$ , das tut?

statistical-significance p-value r-squared

— user1357
quelle

14

Zusätzlich zu den zahlreichen (korrekten) Kommentaren anderer Benutzer, die darauf hinweisen, dass der $p$ Wert für $r^2$ mit dem $p$ Wert für den globalen $F$ Test identisch ist, können Sie auch den mit verknüpften $p$ Wert abrufen $r^2$ "direkt" unter Verwendung der Tatsache, dass $r^2$ unter der Nullhypothese als $\textrm{Beta}(\frac{v_n}{2},\frac{v_d}{2})$ , wobei $v_n$ und $v_d$ der Zähler sind bzw. Nennerfreiheitsgrade für die zugehörige $F$ Statistik.

Der dritte Aufzählungspunkt im Unterabschnitt " Abgeleitet von anderen Distributionen" des Wikipedia-Eintrags zur Betaverteilung besagt Folgendes:

Wenn und unabhängig sind, dann ist . $X \sim \chi^2(\alpha)$ $Y \sim \chi^2(\beta)$ $\frac{X}{X+Y} \sim \textrm{Beta}(\frac{\alpha}{2}, \frac{\beta}{2})$

Nun, wir können in dieser -Form schreiben . $r^2$ $\frac{X}{X+Y}$

Sei die Gesamtsumme der Quadrate für eine Variable , die Summe der quadratischen Fehler für eine Regression von bei einigen anderen Variablen und die "Summe der reduzierten Quadrate", . Dann Und natürlich ist Quadratsummen, und sind beide verteilt als mit bzw. Freiheitsgraden. Daher $SS_Y$ $Y$ $SS_E$ $Y$ $SS_R$ $SS_R=SS_Y-SS_E$

r^{2} = 1 - \frac{S S_{E}}{S S_{Y.}} = \frac{S S_{Y.} - S S_{E}}{S S_{Y.}} = \frac{S S_{R}}{S S_{R} + S S_{E}}

$r^2=1-\frac{SS_E}{SS_Y}=\frac{SS_Y-SS_E}{SS_Y}=\frac{SS_R}{SS_R+SS_E}$

S S_{R}

$SS_R$

S S_{E}

$SS_E$

χ^{2}

$\chi^2$

v_{n}

$v_n$

v_{d}

$v_d$

r^{2} \sim Beta (\frac{v_{n}}{2}, \frac{v_{d}}{2})

$r^2 \sim \textrm{Beta}(\frac{v_n}{2},\frac{v_d}{2})$ (Natürlich habe ich nicht gezeigt, dass die beiden Chi-Quadrate unabhängig sind. Vielleicht kann ein Kommentator etwas dazu sagen.)

Demonstration in R (Code aus @gung ausleihen):

set.seed(111)
x = runif(20)
y = 5 + rnorm(20)
cor.test(x,y)

# Pearson's product-moment correlation
# 
# data:  x and y
# t = 1.151, df = 18, p-value = 0.2648
# alternative hypothesis: true correlation is not equal to 0
# 95 percent confidence interval:
#  -0.2043606  0.6312210
# sample estimates:
#       cor 
# 0.2618393 

summary(lm(y~x))

# Call:
#   lm(formula = y ~ x)
# 
# Residuals:
#     Min      1Q  Median      3Q     Max 
# -1.6399 -0.6246  0.1968  0.5168  2.0355 
# 
# Coefficients:
#             Estimate Std. Error t value Pr(>|t|)    
# (Intercept)   4.6077     0.4534  10.163 6.96e-09 ***
# x             1.1121     0.9662   1.151    0.265    
# ---
#   Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
# 
# Residual standard error: 1.061 on 18 degrees of freedom
# Multiple R-squared:  0.06856,  Adjusted R-squared:  0.01681 
# F-statistic: 1.325 on 1 and 18 DF,  p-value: 0.2648

1 - pbeta(0.06856, 1/2, 18/2)

# [1] 0.2647731

— Jake Westfall
quelle

6

Ich hoffe diese vierte (!) Antwort klärt die Dinge weiter.

Bei der einfachen linearen Regression gibt es drei äquivalente Tests:

t-Test für die Nullpopulationssteigung der Kovariablen $X$
t-Test für Nullpopulationskorrelation zwischen und Antwort $X$ $Y$
F-Test für die Nullpopulation R-Quadrat, dh nichts von der Variabilität von kann durch Differenzieren von erklärt werden . $Y$ $X$

Alle drei Tests prüfen auf eine lineare Zuordnung zwischen und und führen glücklicherweise (!) Alle zum gleichen Ergebnis. Ihre Teststatistiken sind gleichwertig. (Tests 1 und 2 basieren auf der Student-Verteilung mit df, die der Stichproben-F-Verteilung von Test 3 entspricht, nur mit quadratischer Teststatistik). $X$ $Y$ $n-2$

Ein kurzes Beispiel in R:

# Input
set.seed(3)

n <- 100
X <- runif(n)
Y <- rnorm(n) + X

cor.test(~ X + Y) # For test 2 (correlation)

# Output (part)
# t = 3.1472, df = 98, p-value = 0.002184
# alternative hypothesis: true correlation is not equal to 0

# Input (for the other two tests)
fit <- lm(Y ~ X)
summary(fit)      

# Output (partial)
Coefficients:
            Estimate Std. Error t value Pr(>|t|)   
(Intercept) -0.03173    0.18214  -0.174  0.86204   
X            1.02051    0.32426   3.147  0.00218 **
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 0.9239 on 98 degrees of freedom
Multiple R-squared:  0.09179,   Adjusted R-squared:  0.08253 
F-statistic: 9.905 on 1 and 98 DF,  p-value: 0.002184

Wie Sie sehen können, ergeben die drei Tests den gleichen p-Wert von 0,00218. Beachten Sie, dass Test 3 in der letzten Zeile der Ausgabe steht.

Daher ist Ihr F-Test für das R-Quadrat sehr häufig, obwohl nicht viele Statistiker ihn als Test für das R-Quadrat interpretieren.

— Michael M
quelle

5

Sie scheinen ein anständiges Verständnis für mich zu haben. Wir könnten eine bekommen - Wert für , aber da es sich um eine (nicht-stochastische) Funktion ist die würde s identisch sein. $p$ $r^2$ $r$ $p$

— gung - Wiedereinsetzung von Monica
quelle

Ich glaube nicht. Wenn man die Schlussfolgerung über und mit der Schlussfolgerung über und von OLS verbindet, ist bedeutend, wenn ungleich Null ist, unabhängig von . Jedoch ist von Bedeutung , wenn entweder oder ungleich Null ist. Dies hilft zu visualisieren, was die jeweiligen Tests bewerten.

ρ

$\rho$

r^{2}

$r^2$

α

$\alpha$

β

$\beta$

ρ

$\rho$

β

$\beta$

α

$\alpha$

r^{2}

$r^2$

α

$\alpha$

β

$\beta$

— AdamO

1

@AdamO, ich kann dem Argument in Ihrem Kommentar nicht folgen. Ähnlich wie Michael Mayers Beitrag unten, in R Versuch: set.seed(111); x = runif(20); y = 5 + rnorm(20); cor.test(x,y); summary(lm(y~x)). Das p für r ist .265. Das p für b & für den globalen F-Test ist identisch, obwohl das p für a ist 6.96e-09.

— gung - Wiedereinsetzung von Monica

Genau mein Standpunkt. unterscheidet sich von und ihr Wert ist NICHT identisch.

kann eine Funktion von , ist aber nicht einmal eine monotone Funktion. kann signifikant sein, wenn nicht ist. Was misst ? Dies ist der Standardfehler nach dem Zeichnen der OLS-Trendlinie und dem Berechnen der Residuen. Ist in Ihrem Beispiel die Restvarianz kleiner als die bedingungslose Varianz? Absolut.

r

$r$

r^{2}

$r^2$

p

$p$

r^{2}

$r^2$

r

$r$

r^{2}

$r^2$

r

$r$

r^{2}

$r^2$

Y

$Y$

r^{2}

$r^2$ ist dann bedeutend. Sie können die Betriebseigenschaften mit dem Bootstrap berechnen, und die Verbindung zwischen ANOVA und gewöhnlichen kleinsten Quadraten gibt ebenfalls Aufschluss über die Angelegenheit.

— AdamO

4

Sie können den mit assoziierten Wert auch "direkt" erhalten, indem Sie die Tatsache verwenden, dass unter der Nullhypothese als wobei und die Zähler- bzw. Nennerfreiheitsgrade für die zugehörige Statistik sind. (Siehe 3. Identität hier: en.wikipedia.org/wiki/... .) Also, mit @ Gung die Beispieldaten, wenn in uns geben wir bekommen .

p

$p$

r^{2}

$r^2$

r^{2}

$r^2$

B e t a (\frac{v_{n}}{2}, \frac{v_{d}}{2})

$Beta(\frac{v_n}{2},\frac{v_d}{2})$

v_{n}

$v_n$

v_{d}

$v_d$

F

$F$ R1 - pbeta(0.06856, 1/2, 18/2)0.2647731

— Jake Westfall

4

@AdamO, ich verstehe immer noch nicht. Sie sind beide .265, wie sind sie nicht identisch?

— gung - Wiedereinsetzung von Monica

4

Es gibt mehrere Möglichkeiten der Teststatistik für die Prüfung der Pearson - Korrelation ableiten, . Um einen Wert zu erhalten , ist hervorzuheben, dass Sie sowohl einen Test als auch eine Stichprobenverteilung einer Teststatistik unter der Nullhypothese benötigen. Ihr Titel und Ihre Frage scheinen eine gewisse Verwechslung zwischen der Pearson-Korrelation und der "erklärten Varianz" . Ich werde zuerst den Korrelationskoeffizienten betrachten. $\rho$ $p$ $r^2$

Es gibt keinen "besten" Weg, die mir bekannte Pearson-Korrelation zu testen. Die Fisher- Z-Transformation basiert auf hyperbolischen Transformationen, sodass die Inferenz ein wenig effizienter ist. Dies ist sicherlich ein "guter" Ansatz, aber das traurige ist, dass die Schlussfolgerung für diesen Parameter mit der Schlussfolgerung über den Steigungsparameter für Assoziation übereinstimmt : Sie erzählen auf lange Sicht die gleiche Geschichte. $\beta$

Der Grund , warum die Statistiker haben (klassisch) ganz Tests von bevorzugten ist , weil wir es einen „besten“ Test haben: lineare Regression, die der BLUE Schätzer ist. In den Tagen der modernen Statistik ist es uns eigentlich egal, ob ein Test mehr "am besten" ist, aber die lineare Regression hat viele andere fantastische Eigenschaften, die ihre weitere Verwendung zur Bestimmung der Assoziation zwischen zwei Variablen rechtfertigen. Im Allgemeinen stimmt Ihre Intuition: Sie sind im Wesentlichen identisch, und wir konzentrieren unsere Aufmerksamkeit auf als ein praktischeres Maß für die Assoziation. $\beta$ $\beta$

Das ist eine Funktion sowohl der Steigung als auch des Abschnitts. Wenn einer dieser Werte ungleich Null ist, sollte das eine erkennbare Stichprobenverteilung relativ zu der haben, die zu erwarten wäre, wenn die linearen Parameter Null wären. Das Ableiten von Verteilungen von unter der Null und der Vergleich mit unter einer alternativen Hypothese gibt mir jedoch nicht die Gewissheit, dass dieser Test viel Macht hat, um zu erkennen, was wir wollen. Nur ein Bauchgefühl. Wenn wir uns wieder den "besten" Schätzern zuwenden, gibt uns OLS "beste" Schätzungen sowohl der Steigung als auch des Achsenabschnitts, sodass wir zuversichtlich sind, dass unser Test durch direktes Testen der Modellparameter mindestens die gleiche Assoziation ermitteln kann . Für mich gemeinsam testen die $r^2$ $r^2$ $r^2$ $r^2$ $\alpha$ und mit OLS sind allen Tests zu überlegen, außer in einem seltenen Fall (vielleicht) einer nicht verschachtelten Kalibrierungsanwendung für Vorhersagemodelle ... aber BIC wäre in diesem Szenario wahrscheinlich ohnehin eine bessere Maßnahme. $\beta$ $r^2$

— AdamO
quelle

1

"Das ist eine Funktion sowohl der Steigung als auch des Abschnitts." Vielleicht fehlt mir etwas, aber ... ist es nicht nur eine Funktion der Steigung? Vielleicht könnten Sie eine konkrete Demonstration liefern?

r^{2}

$r^2$

— Jake Westfall

Sicher. Denken Sie daran, dass genau ist , wenn die beobachteten Daten perfekt mit der Trendlinie übereinstimmen . Betrachten Sie "flache Antwort" -Daten ohne Variabilität, aber ohne Null-Achsenabschnitt, sodass alle Tupel die Form für alle annehmen . wie angedeutet. Der Bestimmungskoeffizient dient als eine vernünftige Zusammenfassung der Vorhersagefähigkeit für eine lineare Gleichung, und das Erhalten dieser Vorhersagen erfordert sowohl eine Steigung als auch einen Schnittpunkt.

r^{2} = 1

$r^2 = 1$

(x_{i}, β_{0})

$(x_i, \beta_0)$

i \in {1, 2, \dots n}

$i \in \{ 1, 2, \ldots n \}$

r^{2} = 1

$r^2 = 1$

— AdamO

1

So würde ich Dinge nicht interpretieren. Ich glaube nicht, dass ich jemals einen Wert für oder berechnen würde . und sind qualitative Maße eines Modells, keine Maße, die wir mit einer Verteilung vergleichen, daher ist ein Wert nicht wirklich sinnvoll. $p$ $r$ $r^2$ $r$ $r^2$ $p$

$p$ $b$ $b$ $0$ $r$ $r^2$ $r^2$

$p$ $a$ $0$ $0$ $0$

$p$ $r^2$

— Duncan
quelle

4

F

$F$

R^{2}

$R^2$

F

$F$

R^{2}

$R^2$

n

$n$

F = (n - 2) R^{2} / (1 - R^{2})

$F = (n-2)R^2/(1-R^2)$

b

$b$

R^{2}

$R^2$

In der Praxis scheinen die Leute nicht über die Bedeutung von r oder r ^ 2 nachzudenken. Was nützlicher sein könnte, ist ein Konfidenzintervall um sie herum.

— N Brouwer