Konvertieren standardisierter Betas zurück in ursprüngliche Variablen

Mir ist klar, dass dies wahrscheinlich eine sehr einfache Frage ist, aber nach der Suche kann ich die gesuchte Antwort nicht finden.

Ich habe ein Problem, bei dem ich die Variablen standardisieren muss, die die (Ridge-Regression) ausführen, um die Ridge-Schätzungen der Betas zu berechnen.

Ich muss diese dann wieder in die ursprüngliche Variablenskala konvertieren.

Aber wie mache ich das?

Ich habe eine Formel für den bivariaten Fall gefunden

β^{*} = \hat{β} \frac{S_{x}}{S_{y}} .

$\beta^* = \hat\beta \frac{S_x}{S_y} \>.$

Dies wurde in D. Gujarati, Basic Econometrics , Seite 175, Formel (6.3.8) angegeben.

Wo die Schätzer von dem Regressions Run auf den standardisierten Variablen sind und ist der gleiche Schätzer zurück in der ursprünglichen Skala umgewandelt, die Probe Standardabweichung des regressand ist, und $\beta^*$ $\hat\beta$ $S_y$ $S_x$ ist die Probe Standardabweichung.

Leider behandelt das Buch das analoge Ergebnis für die multiple Regression nicht.

Ich bin mir auch nicht sicher, ob ich den bivariaten Fall verstehe? Einfache algebraische Manipulation gibt die Formel für in der ursprünglichen Skala: $\hat\beta$

\hat{β} = β^{*} \frac{S_{y}}{S_{x}}

$\hat\beta=\beta^* \frac{S_y}{S_x}$

Es scheint seltsam für mich , dass der , der auf Variablen berechnet wurden , die durch bereits entleert , entleert werden , wird von wieder zurück umgewandelt werden? (Und warum werden die Mittelwerte nicht wieder addiert?) $\hat\beta$ $S_x$ $S_x$

Kann jemand bitte erklären, wie dies für einen multivariaten Fall idealerweise mit einer Ableitung zu tun ist, damit ich das Ergebnis verstehen kann?

— Baz
quelle

Für das Regressionsmodell unter Verwendung der standardisierten Variablen nehmen wir die folgende Form für die Regressionslinie an

E [Y] = β_{0} + \sum_{j = 1}^{k} β_{j} z_{j},

$\mathbb E[Y] =\beta_{0}+\sum_{j=1}^{k}\beta_{j}z_{j},$

$z_{j}$ $x_j$ $\bar x_j$ $S_j$

z_{j} = \frac{x_{j} - {\bar{x}}_{j}}{S_{j}}

$z_j = \frac{x_j - \bar{x}_j}{S_j}$

Wenn wir die Regression mit den standardisierten Regressoren durchführen, erhalten wir die angepasste Regressionslinie:

\hat{Y} = {\hat{β}}_{0} + \sum_{j = 1}^{k} {\hat{β}}_{j} z_{j}

$\hat Y = \hat \beta_0 +\sum_{j=1}^{k} \hat \beta_{j}z_{j}$

Wir möchten nun die Regressionskoeffizienten für die nicht standardisierten Prädiktoren finden. Wir haben

\hat{Y} = {\hat{β}}_{0} + \sum_{j = 1}^{k} {\hat{β}}_{j} (\frac{x_{j} - {\bar{x}}_{j}}{S_{j}})

$\hat Y = \hat \beta_0 +\sum_{j=1}^{k} \hat \beta_{j}\left(\frac{x_j - \bar{x}_j}{S_j}\right)$

Neu arrangiert, kann dieser Ausdruck geschrieben werden als

\hat{Y} = ({\hat{β}}_{0} - \sum_{j = 1}^{k} {\hat{β}}_{j} \frac{{\bar{x}}_{j}}{S_{j}}) + \sum_{j = 1}^{k} (\frac{{\hat{β}}_{j}}{S_{j}}) x_{j}

$\hat Y = \left( \hat \beta_0 - \sum_{j=1}^k \hat \beta_j \frac{\bar x_j}{S_j} \right) + \sum_{j=1}^k \left(\frac{\hat \beta_j}{S_j}\right) x_j$

$\hat \beta_0 - \sum_{j=1}^k \hat \beta_j \frac{\bar x_j}{S_j}$ . The regression coefficient of the $j$ -th predictor is $\frac{\hat \beta_j}{S_j}$ .

In the presented case, I have assumed that only the predictors had been standardized. If one also standardizes the response variable, transforming the covariate coefficients back to the original scale is done by using the formula from the reference you gave. We have:

\frac{E [Y] - \hat{y}}{S_{y}} = β_{0} + \sum_{j = 1}^{k} β_{j} z_{j}

$\frac{\mathbb E[Y] - \hat y}{S_y} =\beta_{0}+\sum_{j=1}^{k}\beta_{j}z_{j}$

Carrying out the regression, we get the fitted regression equation

{\hat{Y}}_{s c a l e d} = \frac{{\hat{Y}}_{u n s c a l e d} - \bar{y}}{S_{y}} = {\hat{β}}_{0} + \sum_{j = 1}^{k} {\hat{β}}_{j} (\frac{x_{j} - {\bar{x}}_{j}}{S_{j}}),

$\hat Y_{scaled} = \frac{\hat Y_{unscaled} - \bar y}{S_y} = \hat \beta_0 +\sum_{j=1}^{k} \hat \beta_{j}\left(\frac{x_j - \bar{x}_j}{S_j}\right),$

where the fitted values are on the scale of the standardized response. To unscale them and recover the coefficient estimates for the untransformed model, we multiply the equation by $S_y$ and bring the sample mean of the $y$ to the other side:

{\hat{Y}}_{u n s c a l e d} = {\hat{β}}_{0} S_{y} + \bar{y} + \sum_{j = 1}^{k} {\hat{β}}_{j} (\frac{S_{y}}{S_{j}}) (x_{j} - {\bar{x}}_{j}) .

$\hat Y_{unscaled} = \hat \beta_0 S_y + \bar y +\sum_{j=1}^{k} \hat \beta_{j}\left(\frac{S_y}{S_j}\right) (x_j - \bar{x}_j).$

The intercept corresponding to the model in which neither the response nor the predictors have been standardized is consequently given by $\hat \beta_0 S_y + \bar y - \sum_{j=1}^k \hat \beta_j \frac{S_y}{S_j}\bar x_j$ , while the covariate coefficients for the model of interest can be obtained by multiplying each coefficient with $S_y / S_j$ .

— Philipp Burckhardt
quelle