Bedeutung von Prädiktoren bei multipler Regression: Partielle

21

Ich frage mich, wie genau die Beziehung zwischen partiellem $R^2$ und Koeffizienten in einem linearen Modell ist und ob ich nur einen oder beide verwenden sollte, um die Bedeutung und den Einfluss von Faktoren zu veranschaulichen.

Soweit ich weiß, summaryerhalte ich mit Schätzungen der Koeffizienten und mit anovader Summe der Quadrate für jeden Faktor - der Anteil der Summe der Quadrate eines Faktors geteilt durch die Summe der Summe der Quadrate plus Residuen ist Teil $R^2$ ( Der folgende Code ist in R).

library(car)
mod<-lm(education~income+young+urban,data=Anscombe)
    summary(mod)

Call:
lm(formula = education ~ income + young + urban, data = Anscombe)

Residuals:
    Min      1Q  Median      3Q     Max 
-60.240 -15.738  -1.156  15.883  51.380 

Coefficients:
              Estimate Std. Error t value Pr(>|t|)    
(Intercept) -2.868e+02  6.492e+01  -4.418 5.82e-05 ***
income       8.065e-02  9.299e-03   8.674 2.56e-11 ***
young        8.173e-01  1.598e-01   5.115 5.69e-06 ***
urban       -1.058e-01  3.428e-02  -3.086  0.00339 ** 
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 26.69 on 47 degrees of freedom
Multiple R-squared:  0.6896,    Adjusted R-squared:  0.6698 
F-statistic: 34.81 on 3 and 47 DF,  p-value: 5.337e-12

anova(mod)
Analysis of Variance Table

Response: education
          Df Sum Sq Mean Sq F value    Pr(>F)    
income     1  48087   48087 67.4869 1.219e-10 ***
young      1  19537   19537 27.4192 3.767e-06 ***
urban      1   6787    6787  9.5255  0.003393 ** 
Residuals 47  33489     713                      
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Die Größe der Koeffizienten für "jung" (0,8) und "städtisch" (-0,1, etwa 1/8 der ersteren, ohne Berücksichtigung von "-") entspricht nicht der erklärten Varianz ("jung" ~ 19500 und "städtisch" ~ 6790, dh um 1/3).

Daher dachte ich, ich müsste meine Daten skalieren, da ich davon ausging, dass die Koeffizienten eines Faktors schwer zu vergleichen sind, wenn der Bereich eines Faktors viel größer ist als der eines anderen Faktors:

Anscombe.sc<-data.frame(scale(Anscombe))
mod<-lm(education~income+young+urban,data=Anscombe.sc)
summary(mod)

Call:
lm(formula = education ~ income + young + urban, data = Anscombe.sc)

Residuals:
     Min       1Q   Median       3Q      Max 
-1.29675 -0.33879 -0.02489  0.34191  1.10602 

Coefficients:
              Estimate Std. Error t value Pr(>|t|)    
(Intercept)  2.084e-16  8.046e-02   0.000  1.00000    
income       9.723e-01  1.121e-01   8.674 2.56e-11 ***
young        4.216e-01  8.242e-02   5.115 5.69e-06 ***
urban       -3.447e-01  1.117e-01  -3.086  0.00339 ** 
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 0.5746 on 47 degrees of freedom
Multiple R-squared:  0.6896,    Adjusted R-squared:  0.6698 
F-statistic: 34.81 on 3 and 47 DF,  p-value: 5.337e-12

anova(mod)
Analysis of Variance Table

Response: education
          Df  Sum Sq Mean Sq F value    Pr(>F)    
income     1 22.2830 22.2830 67.4869 1.219e-10 ***
young      1  9.0533  9.0533 27.4192 3.767e-06 ***
urban      1  3.1451  3.1451  9.5255  0.003393 ** 
Residuals 47 15.5186  0.3302                      
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Aber das macht eigentlich keinen Unterschied, Teil- und die Größe der Koeffizienten (dies sind jetzt standardisierte Koeffizienten ) stimmen immer noch nicht überein: $R^2$

22.3/(22.3+9.1+3.1+15.5)
# income: partial R2 0.446, Coeff 0.97
9.1/(22.3+9.1+3.1+15.5)
# young:  partial R2 0.182, Coeff 0.42
3.1/(22.3+9.1+3.1+15.5)
# urban:  partial R2 0.062, Coeff -0.34

Kann man also sagen, dass "jung" dreimal so viel Varianz erklärt wie "städtisch", weil Teil- für "jung" dreimal so groß ist wie "städtisch"? $R^2$ Warum ist der Koeffizient von "jung" dann nicht dreimal so hoch wie der von "städtisch" (ohne das Zeichen zu beachten)?

Ich nehme an, die Antwort auf diese Frage gibt mir dann auch die Antwort auf meine ursprüngliche Frage: Soll ich Teil- oder Koeffizienten verwenden, um die relative Bedeutung von Faktoren zu veranschaulichen? (Einwirkungsrichtung - Vorzeichen - vorerst ignorieren.) $R^2$

Bearbeiten:

Das partielle eta-Quadrat scheint ein anderer Name für das zu sein, was ich partiell . etasq {heplots} ist eine nützliche Funktion, die ähnliche Ergebnisse liefert: $R^2$

etasq(mod)
          Partial eta^2
income        0.6154918
young         0.3576083
urban         0.1685162
Residuals            NA

— Robert
quelle

Was versuchst du genau zu tun oder zu zeigen? Der geschätzte Einfluss? Die Signifikanz?

— IMA

Ja, ich kenne mich mit T- und F-Tests aus. Ich möchte einen geschätzten Einfluss zeigen, für den afaik t- und F-Tests nicht geeignet sind.

— Robert

1

Meine Frage ist: Soll ich mithilfe von Teil-R² oder den Koeffizienten zeigen, wie viel Einfluss jeder Faktor auf das Ergebnis hat? Ich ging davon aus, dass beide in die gleiche Richtung weisen. Sie sagen, das ist nicht wahr, weil die Daten Multikollinearität enthalten. Okay, wenn ich also eine Aussage wie den Faktor "jung" machen möchte, der das Ergebnis x-mal stärker beeinflusst / x-mal wichtiger ist als der Faktor "städtisch", schaue ich auf Teil-R² oder Koeffizienten?

— Robert

1

Ich bin mit @IMA nicht einverstanden. Das partielle R-Quadrat steht in direktem Zusammenhang mit der partiellen Korrelation. Dies ist eine gute Möglichkeit, um die vom Confounder angepassten Beziehungen zwischen iv und dv zu untersuchen.

— Michael M

1

Ich habe Ihre Frage so bearbeitet, dass sie wieder auf der Startseite angezeigt wird. Ich wäre sehr an einer guten Antwort interessiert; Wenn keine auftaucht, biete ich vielleicht sogar ein Kopfgeld an. Übrigens werden Regressionskoeffizienten nach der Standardisierung aller Prädiktoren als "standardisierte Koeffizienten" bezeichnet. Ich habe diesen Begriff in Ihre Frage aufgenommen, um ihn klarer zu machen.

— Amöbe sagt Reinstate Monica

10

Kurz gesagt , ich würde nicht sowohl den partiellen als auch den standardisierten Koeffizienten in derselben Analyse verwenden, da diese nicht unabhängig sind. Ich würde argumentieren, dass es normalerweise wahrscheinlich intuitiver ist, Beziehungen unter Verwendung der standardisierten Koeffizienten zu vergleichen, da sie sich leicht auf die Modelldefinition beziehen (dh $R^2$ ). Die teilweise , die wiederum im wesentlichen der Anteil der einzigartigen gemeinsame Varianz zwischen der Prädiktoreigenschaft und abhängiger Variable (dv) (so zum ersten Prädiktor es ist das Quadrat der Teilkorrelation $Y = \beta X$ $R^2$ $r_{x_1y.x_2...x_n}$ ). Für eine Anpassung mit einem sehr kleinen Fehler tendieren alle Teil- der Koeffizienten zu 1, so dass sie nicht nützlich sind, um die relative Wichtigkeit der Prädiktoren zu identifizieren. $R^2$

Die Definitionen der Effektgröße

standardisierter Koeffizient, - die Koeffizienten die durch Schätzen eines Modells anhand der standardisierten Variablen erhalten wurden (Mittelwert = 0, Standardabweichung = 1). $\beta_{std}$ $\beta$
partielles - Der Anteil der Restvariation, der durch Hinzufügen des Prädiktors zum beschränkten Modell erklärt wird (das vollständige Modell ohne den Prädiktor). Gleich wie: $R^2$
- Das Quadrat der partiellen Korrelation zwischen dem Prädiktor und der abhängigen Variablen, die für alle anderen Prädiktoren im Modell gilt. . $R_{partial}^2 = r_{x_iy.X\setminus x_i}^2$
- partiell - das Verhältnis der Quadratsummen vom Typ III vom Prädiktor zur Quadratsumme, die dem Prädiktor und dem Fehler $\eta^2$ $\text{SS}_\text{effect}/(\text{SS}_\text{effect}+\text{SS}_\text{error})$
- Der Unterschied in zwischen dem eingeschränkten und vollständigen Modell. Gleicht: $\Delta R^2$ $R^2$
- quadratische semipartielle Korrelation $r_{x_i(y.X\setminus x_i)}^2$
- für Quadratsumme Typ III - was Siein der Frageals partielles berechnet haben. $\eta^2$ $\text{SS}_\text{effect}/\text{SS}_\text{total}$ $R^2$

Alle diese Faktoren sind eng miteinander verbunden, unterscheiden sich jedoch hinsichtlich des Umgangs mit der Korrelationsstruktur zwischen den Variablen. Um diesen Unterschied ein bisschen besser zu verstehen, nehmen wir an, dass wir 3 standardisierte (Mittelwert = 0, sd = 1) Variablen deren Korrelationen als Prädiktoren sind. Wir werden alle Effektgrößenkoeffizienten in Bezug auf die Korrelationen ausdrücken, damit wir explizit sehen können, wie die Korrelationsstruktur von jedem behandelt wird. Zuerst listen wir die Koeffizienten im Regressionsmodell $x,y,z$ . Wir nehmenals abhängige Variable undund $r_{xy}, r_{xz}, r_{yz}$ $x$ $y$ $z$ $x=\beta_{y}Y+\beta_{z}Z$ geschätzt mit OLS. Die Formel für die Koeffizienten: Die Quadratwurzel des für die Prädiktoren ist gleich:

\begin{aligned} β_{y} = \frac{r_{x y} - r_{y z} r_{z x}}{1 - r_{y z}^{2}} \\ β_{z} = \frac{r_{x z} - r_{y z} r_{y x}}{1 - r_{y z}^{2}}, \end{aligned}

$\begin{align}\beta_{y} = \frac{r_{xy}-r_{yz}r_{zx}}{1-r_{yz}^2}\\ \beta_{z}= \frac{r_{xz}-r_{yz}r_{yx}}{1-r_{yz}^2}, \end{align}$

R_{partial}^{2}

$R_\text{partial}^2$

\sqrt{R_{x y . z}^{2}} = \frac{r_{x y} - r_{y z} r_{z x}}{\sqrt{(1 - r_{x z}^{2}) (1 - r_{y z}^{2})}} \sqrt{R_{x z . y}^{2}} = \frac{r_{x z} - r_{y z} r_{y x}}{\sqrt{(1 - r_{x y}^{2}) (1 - r_{y z}^{2})}}

$\sqrt{R^2_{xy.z}} = \frac{r_{xy}-r_{yz}r_{zx}}{\sqrt{(1-r_{xz}^2)(1-r_{yz}^2)}}\\ \sqrt{R^2_{xz.y}} = \frac{r_{xz}-r_{yz}r_{yx}}{\sqrt{(1-r_{xy}^2)(1-r_{yz}^2)}}$

das ist gegeben durch: $\sqrt{\Delta R^2}$

\sqrt{R_{x y z}^{2} - R_{x z}^{2}} = r_{y (x . z)} = \frac{r_{x y} - r_{y z} r_{z x}}{\sqrt{(1 - r_{y z}^{2})}} \sqrt{R_{x z y}^{2} - R_{x y}^{2}} = r_{z (x . y)} = \frac{r_{x z} - r_{y z} r_{y x}}{\sqrt{(1 - r_{y z}^{2})}}

$\sqrt{R^2_{xyz}-R^2_{xz}}= r_{y(x.z)} = \frac{r_{xy}-r_{yz}r_{zx}}{\sqrt{(1-r_{yz}^2)}}\\ \sqrt{R^2_{xzy}-R^2_{xy}}= r_{z(x.y)}= \frac{r_{xz}-r_{yz}r_{yx}}{\sqrt{(1-r_{yz}^2)}}$

Der Unterschied zwischen diesen ist der Nenner, der für die und $\beta$ enthält nur die Korrelation zwischen den Prädiktoren. Bitte beachten Sie, dass in den meisten Kontexten (für schwach korrelierte Prädiktoren) die Größe dieser beiden sehr ähnlich ist, sodass die Entscheidung Ihre Interpretation nicht zu sehr beeinflusst. Auch wenn die Prädiktoren eine ähnliche Stärke der Korrelation mit der abhängigen Variablen haben und nicht zu stark korreliert sind, korrelieren die Verhältnisse der $\sqrt{\Delta R^2}$ $\sqrt{ R_\text{partial}^2}$ ähnlich den Verhältnissen von . $\beta_{std}$

Zurück zu Ihrem Code. Die anovaFunktion in R verwendet standardmäßig eine Quadratsumme vom Typ I, wohingegen das oben beschriebene partielle auf der Grundlage einer Quadratsumme vom Typ III berechnet werden sollte (was meiner Meinung nach einer Quadratsumme vom Typ II entspricht, wenn keine Wechselwirkung vorliegt in Ihrem Modell). Der Unterschied besteht darin, wie die erläuterte SS unter den Prädiktoren aufgeteilt ist. Beim Typ I SS wird dem ersten Prädiktor die gesamte erläuterte SS zugewiesen, dem zweiten nur die "übrig gebliebene SS" und dem dritten nur die übrig gebliebene SS. Daher ändert die Reihenfolge, in der Sie Ihre Variablen in Ihren Aufruf eingeben, ihre jeweilige SS . Dies ist höchstwahrscheinlich nicht erwünscht, wenn Sie Modellkoeffizienten interpretieren. $R^2$ lm

Wenn Sie in Ihrem AnovaAufruf aus dem carPaket in R eine Quadratsumme vom Typ II verwenden , entsprechen die Werte für Ihre Anova den für Ihre Koeffizienten quadrierten Werten (da ). Dies weist darauf hin, dass diese Mengen tatsächlich eng miteinander verbunden sind und nicht unabhängig bewertet werden sollten. Um eine Quadratsumme vom Typ II in Ihrem Beispiel aufzurufen, ersetzen Sie durch . Wenn Sie einen Interaktionsterm einschließen, müssen Sie ihn durch eine Quadratsumme vom Typ III ersetzen, damit der Koeffizienten- und der Teil-R-Test gleich sind $F$ $t$ $F(1,n) = t^2(n)$ anova(mod)Anova(mod, type = 2)options(contrasts = c("contr.sum","contr.poly"))vor dem Anruf Anova(mod,type=3)). Teil ist die Variable SS geteilt durch die Variable SS plus den Rest SS. Dies ergibt die gleichen Werte wie Sie in der Ausgabe aufgelistet haben . Jetzt sind die Tests und Werte für Ihre Anova-Ergebnisse (Teil ) und Ihre Regressionskoeffizienten gleich. $R^2$ etasq() $p$ $R^2$

Kredit

Die Formel für die Teilkorrelation ist hier in ttnphns answer angegeben: Mehrfachregression oder Teilkorrelationskoeffizient ? Und die Beziehungen zwischen den beiden
Die Formel für die semi-partielle Korrelation habe ich hier gefunden: https://www3.nd.edu/~rwilliam/stats1/x92.pdf
Die Beobachtung, dass teilweise $R^2$ aller Prädiktoren für eine perfekte Anpassung 1 ist und daher für den Vergleich ihrer relativen Bedeutung nicht nützlich ist, wurde von der Amöbe in den Kommentaren zu dieser Frage geliefert.

— Chris Novak
quelle

Was meinen Sie mit "Betas werden auf der Grundlage einer Quadratsumme vom Typ III berechnet"? Ich dachte, dass Regressionskoeffizienten auf eine Weise bestimmt werden, die nichts mit der Wahl des SS-Typs zu tun hat. es ist immer

, nicht

?

β = (X^{⊤} X) X^{⊤} y

$\beta = (X^\top X)X^\top y$

— Amöbe sagt Reinstate Monica

1

Sie haben Recht, ich meinte, dass SS- und t-Tests des Typs III für Koeffizienten im Grunde den gleichen F-Test und den gleichen p-Wert ergeben.

— Chris Novak

2

@amoeba Nach einigen Berechnungen habe ich meine Antwort bearbeitet, um Ihre Vorschläge einzubeziehen, die Unterschiede zwischen den beiden Effektgrößen ein wenig zu verdeutlichen und die Antwort des OP besser zu adressieren.

— Chris Novak

1

@amoeba Ich habe meine Antwort wie vorgeschlagen aktualisiert. Nun , da ich darüber nachdenke ist es sinnvoller zu standardisierte Koeffizienten oder vergleichen

als Teil

. Es ist wenig sinnvoll, einen Teil von

zu vergleichen, wenn beispielsweise ein Prädiktor hinzugefügt wird, der nicht mit den anderen Prädiktoren korreliert ist, und die Verhältnisse (relative Wichtigkeit) von Teil von

zwischen ihnen ändert .

Δ R^{2}

$\Delta R^2$

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

— Chris Novak

1

Danke, @Chris, deine Antwort hat sich sehr verbessert und ist mittlerweile ziemlich gut (wenn ich OP wäre, würde ich das akzeptieren). Ich bin nicht sicher , habe ich verstanden , Ihr Argument für

über

. Das Hinzufügen eines Prädiktors, der nicht mit allen anderen Prädiktoren korreliert, sollte den SS-Effekt für alle anderen (?) Nicht ändern, verringert jedoch den SS-Fehler. So

werden alle gleich bleiben, aber

werden alle erhöhen und ihre Verhältnisse ändern könnte; Ist es das, was du meintest? Hier ist ein weiteres Argument: Wenn das Modell perfekt ist und SSerror Null ist, dann ist Partial

für alle Prädiktoren gleich

! Nicht sehr informativ :)

Δ R^{2}

$\Delta R^2$

R_{p}^{2}

$R^2_p$

Δ R^{2}

$\Delta R^2$

R_{p}^{2}

$R^2_p$

R^{2}

$R^2$

1

$1$

— Amöbe sagt Reinstate Monica

8

Wie bereits in mehreren anderen Antworten und Kommentaren erläutert, beruhte diese Frage auf mindestens drei Verwirrungen:

Die Funktion anova()verwendet eine sequentielle (auch als Typ I bezeichnete) Quadratsummenzerlegung (SS), die von der Reihenfolge der Prädiktoren abhängt. Eine Zerlegung, die den Regressionskoeffizienten und Tests für ihre Signifikanz entspricht, ist Typ III SS, mit dem Sie erhalten können $t$ Anova() Funktion aus dem carPaket erhalten können.
$R^2$ $\beta_\mathrm{std}$
$R^2$ $\text{SS}_\text{effect}/(\text{SS}_\text{effect}+\text{SS}_\text{error})$ $\text{SS}_\text{effect}/\text{SS}_\text{total}$ can be called "eta squared" (borrowing a term from ANOVA), or squared semipartial correlation, or perhaps semipartial $R^2$ (in both formulas $\text{SS}_\text{effect}$ is understood in the type III way). This terminology is not very standard. It is yet another possible measure of importance.

After these confusions are clarified, the question remains as to what are the most appropriate measures of predictor effect size, or importance.

In R, there is a package relaimpo that provides several measures of relative importance.

library(car)
library(relaimpo)
mod <- lm(education~income+young+urban, data=Anscombe)
metrics <- calc.relimp(mod, type = c("lmg", "first", "last", "betasq", "pratt", "genizi", "car"))

Using the same Anscombe dataset as in your question, this yields the following metrics:

Relative importance metrics: 

              lmg      last      first    betasq       pratt     genizi        car
income 0.47702843 0.4968187 0.44565951 0.9453764  0.64908857 0.47690056 0.55375085
young  0.14069003 0.1727782 0.09702319 0.1777135  0.13131006 0.13751552 0.13572338
urban  0.07191039 0.0629027 0.06933945 0.1188235 -0.09076978 0.07521276 0.00015460

Some of these metrics have already been discussed:

betasq are squared standardized coefficients, the same values as you obtained with lm().
first is squared correlation between each predictor and response. This is equal to $\text{SS}_\text{effect}/\text{SS}_\text{total}$ when $\text{SS}_\text{effect}$ is type I SS when this predictor is first in the model. The value for 'income' (0.446) matches your computation based on anova() output. Other values don't match.
last is an increase in $R^2$ when this predictor is added last into the model. This is $\text{SS}_\text{effect}/\text{SS}_\text{total}$ when $\text{SS}_\text{effect}$ is type III SS; above I called it "semipartial $R^2$ ". The value for 'urban' (0.063) matches your computation based on anova() output. Other values don't match.

Note that the package does not currently provide partial $R^2$ as such (but, according to the author, it might be added in the future [personal communication]). Anyway, it is not difficult to compute by other means.

There are four further metrics in relaimpo -- and one more (fifth) is available if the package relaimpo is manually installed: CRAN version excludes this metric due to a potential conflict with its author who, crazy as it sounds, has a US patent on his method. I am running R online and don't have access to it, so if anybody can manually install relaimpo, please add this additional metric to my output above for completeness.

Two metrics are pratt that can be negative (bad) and genizi that is pretty obscure.

Two interesting approaches are lmg and car.

The first is an average of $\text{SS}_\text{effect}/\text{SS}_\text{total}$ over all possible permutations of predictors (here $\text{SS}_\text{effect}$ is type I). It comes from a 1980 book by Lindeman & Merenda & Gold.

The second is introduced in (Zuber & Strimmer, 2011) and has many appealing theoretical properties; it is squared standardized coefficients after predictors have been first standardized and then whitened with ZCA/Mahalanobis transformation (i.e. whitened while minimizing reconstruction error).

Note that the ratio of the contribution of 'young' to 'urban' is around $2:1$ with lmg (this matches more or less what we see with standardized coefficients and semipartial correlations), but it's $878:1$ with car. The reason for this huge difference is not clear to me.

Bibliography:

References on relative importance on Ulrike Grömping's website -- she is the author of relaimpo.
Grömping, U. (2006). Relative Importance for Linear Regression in R: The Package relaimpo. Journal of Statistical Software 17, Issue 1.
Grömping, U. (2007). Estimators of Relative Importance in Linear Regression Based on Variance Decomposition. The American Statistician 61, 139-147.
Zuber, V. and Strimmer, K. (2010). High-dimensional regression and variable selection using CAR scores. Statistical Applications in Genetics and Molecular Biology 10.1 (2011): 1-27.
Grömping, U. (2015). Variable importance in regression models. Wiley Interdisciplinary Reviews: Computational Statistics, 7(2), 137-152. (behind pay wall)

— amoeba says Reinstate Monica
quelle

Very nice summary with an additional valuabe info on various importance coefficients. BTW, are you using online this R engine pbil.univ-lyon1.fr/Rweb or another one?

— ttnphns

1

I use r-fiddle.org, but I never tried anything else and don't know how it compares. It looks pretty sleek though.

— amoeba says Reinstate Monica

Very clear summary and additional info on effect sizes (+1)

— Chris Novak

4

You wrote:

My question is: Should I use partial R² or the coefficients to show how much influence each factor has on the outcome?

It is important not to confuse two things here. First, there is the question of model specification. The lm algorithm assumes that the OLS-assumptions are met. Among other things this means that for unbiased estimates, NO signficant variable can be missing from the model (except for when it is uncorrelated to all other regressors, rare).
So in finding a model, the additional influence on R² or adjusted R² is of course of interest. One might think it is proper to add regressors until the adjusted R² stops improving, for example. There are interesting problems with stepwise regression procedures such as this, but this is not the topic. In any case I assume there was a reason you chose your model.

HOWEVER: this additional influence on the R² is not identical to the real or total influence of the regressor on the independent variable, precisely because of multicollinerity: If you take away the regressor, part of its influence will now be attributed to the other regressors which are correlated to it. So now the true influence is not correctly shown.

And there is another problem: The estimates are only valid for the complete model with all other regressors present. Either this model is not yet correct and therefore discussion about influence is meaningless - or it is correct and then you can not eliminate a regressor and still use the OLS methods with success.

So: is your model and the use of OLS appropriate? If it is, then the estimates answer your question - they are your literal best guess of the influence of the variables on the regressand / dependent variable.
If not, then your first job is to find a correct model. For this the use of partial R² may be a way. A search on model specification or stepwise regression will produce a lot of interesting approaches in this forum. What works will depend on your data.

— IMA
quelle

1

Thank four your answer! I am not sure your statement that "this additional influence on the R² is not identical to the real or total influence of the regressor on the independent variable" is uncontroversial. Package relaimpo cran.r-project.org/web/packages/relaimpo/relaimpo.pdf for example uses partial R² "for assessing relative importance in linear models".

— robert

1

Do you think you could provide a reference for your view that R² should only be used for model selection?

— robert

1

@robert: The raison d'etre of relaimpo is to provide alternatives to partial R^2, for exactly the reason IMA gives!

— Scortchi - Reinstate Monica

1

@Scortchi: Wow, after looking in the manual of the relaimpo package I realized that there is a whole world of different approaches to quantifying relative importance of predictors in linear regression. I am currently looking through some papers linked there (this 2010 preprint looks pretty good so far), and this is a mess! I did not realize that this issue is so complicated, when I offered my bounty. It doesn't seem to have been properly discussed on CV. Is this an obscure topic? If so, why?

— amoeba says Reinstate Monica

2

@amoeba: An off-the-cuff answer is that "relative importance of predictors" isn't all that important for most purposes. If you have a model you're happy with then you can use it to say things like smoking one cigarette a day is equivalent to eating five hamburgers in terms of the risk of getting a heart attack - the importance comes from the substantive interpretation of what you're modelling; if you're comparing models you compare whole models - say ones with & without an expensive-to-measure pair of predictors - & don't need to worry about how predictive power might be fairly divvied up.

— Scortchi - Reinstate Monica

3

Regarding the difference between the linear regression coefficient and the partial correlation you may read this, for example.

However, the confusion expressed in the question seems to be of another nature. It appears to be about the default type of sums-of-squares used by this or that statistical package (topic, repeatedly discussed on our site). Linear regression uses what is called in ANOVA Type III SS reckoning. In many ANOVA programs that is the default option too. In R function anova, it appears to me (I'm not R user, so I just suppose it) the default reckoning is Type I SS (a "sequential SS" which is dependent on the order the predictors are specified in the model). So, the discrepancy that you observed and which did not dissapear when you standardized ("scaled") your variables is because you specified the ANOVA with the default Type I option.

Below are results obtained in SPSS with your data:

enter image description here

Sie können in diesen Ausdrucken auswählen, dass die Parameter (Regressionskoeffizienten) unabhängig von der Art der SS-Berechnung gleich sind. Sie können auch feststellen, dass das partielle Eta-Quadrat [das in unserem Fall SSeffect / (SSeffect + SSerror) und = partielles R-Quadrat ist, da die Prädiktoren numerische Kovariaten sind] in der Tabelle der Effekte und der Koeffizienten nur bei Typ SS vollständig identisch ist ist III. Wenn der Typ SS I ist, behält nur der letzte der drei Prädiktoren "urban" den gleichen Wert (.169). Dies liegt daran, dass es in der Reihenfolge der Eingabe der Prädiktoren die letzte ist. Bei Typ III SS spielt die Reihenfolge der Eingabe keine Rolle, wie bei der Regression. Übrigens wird die Diskrepanz auch bei p-Werten beobachtet. Obwohl Sie es in meinen Tabellen nicht sehen, weil es nur 3 Dezimalstellen in der Spalte "Sig" gibt,

Vielleicht möchten Sie mehr über verschiedene "SS-Typen" in ANOVA / linearem Modell lesen. Konzeptionell ist der Typ III oder "Regressionstyp" der SS grundlegend und primordial. Andere Arten von SS (I, II, IV, es gibt noch mehr) sind spezielle Vorrichtungen, um die Auswirkungen umfassender abzuschätzen, und zwar weniger verschwenderisch, als Regressionsparameter in der Situation korrelierter Prädiktoren zulassen.

Im Allgemeinen sind Effektgrößen und ihre p-Werte wichtiger als Parameter und ihre p-Werte, es sei denn, das Ziel der Studie besteht darin, ein Modell für die Zukunft zu erstellen. Mit Hilfe von Parametern können Sie Vorhersagen treffen, aber "Einfluss" oder "Effekt" kann ein umfassenderes Konzept sein als "Stärke der linearen Vorhersage". Um Einfluss oder Wichtigkeit zu melden, sind neben dem partiellen Eta-Quadrat andere Koeffizienten möglich. Das eine ist der Auslassungskoeffizient: Die Wichtigkeit eines Prädiktors ist die verbleibende Quadratsumme, wobei der Prädiktor aus dem Modell entfernt und normalisiert ist, sodass die Wichtigkeitswerte für alle Prädiktoren 1 ergeben.

— ttnphns
quelle

+1, vielen Dank für Ihre Teilnahme an der Diskussion. Ich habe eine terminologische Frage. "Partielles R-Quadrat" ist definiert als SSeffect / (SSeffect + SSerror). Wie heißt SSeffect / SStotal? Soweit ich weiß (korrigieren Sie mich, wenn ich mich irre), entspricht bei Verwendung der Typ-III-SS-Zerlegung dieser SS-Effekt / S-Gesamtwert der quadrierten partiellen Korrelation zwischen der Antwort und diesem Prädiktor (Kontrolle für alle anderen Prädiktoren). Hat diese Menge einen Namen? Teil R2 ist analog zu Teil-ETA-Quadrat, aber warum gibt es keinen Namen für das Analogon von ETA-Quadrat selbst? Das verwirrt mich.

— Amöbe sagt Reinstate Monica

Hoppla, ich glaube, ich habe oben einen Unsinn geschrieben: Die quadratische Teilkorrelation ist SSeffect / (SSeffect + SSerror), dh genau Teil R2, richtig? Dennoch bleibt die Frage, wie SSeffect / SStotal aufgerufen werden soll (was OP in seiner ursprünglichen Frage zu berechnen versucht hat!). Sollen wir es einfach eta squared nennen? Oder "partitioniertes R2" (versteht natürlich, dass sich diese "Partitionen" für Typ III SS nicht zum gesamten R2 summieren)?

— Amöbe sagt Reinstate Monica

1

Ja, SSeffect / SStotal ist einfach ein Quadrat. Es ist das ETA-Quadrat des Prädiktors in diesem spezifischen Modell (nicht zu verwechseln mit dem marginalen ETA-Quadrat = ETA-Quadrat, wenn der Prädiktor nur einer im Modell ist = Pearson r ^ 2 nullter Ordnung, in unserem Fall kontinuierlicher Prädiktoren).

— TTNPHNS

1

Genau so. Teilkorrelation ist (ein spezifischer Fall von) eta. Ich denke , dass es ist daher richtig , dass eta im Modell zu nennen Teil eta. Ich kann mich nur an keinen Text erinnern, bei dem ich auf den Begriff "Teil" oder "Halbteil" eta stoße. Wenn Sie es herausfinden, lassen Sie es mich bitte wissen.

— TTNPHNS

1

Ja; warum, denke ich genauso. Aber r, partielles r, semipartielles r sind besondere Fälle des entsprechenden eta. Die wichtige terminologische Unterscheidung zwischen den beiden ergibt sich jedoch im Zusammenhang damit, dass neben dem kategorialen (Dummy-) "nichtlinearen" Gesamteffekt der Prädiktor linear (oder polynomiell) wirkt, als ob er numerisch codiert wäre. Hier zeigen wir 3 Effekte: Combined Etasq = Linear Rsq + Deviation-from-Linearity.

— TTNPHNS