Gleichung für die Varianzinflationsfaktoren

Nach einer zuvor gestellten Frage können die Varianzinflationsfaktoren (VIFs) ausgedrückt werden als ist die skalierte Version von

{VIF}_{j} = \frac{Var ({\hat{b}}_{j})}{σ^{2}} = [w_{j}^{'} w_{j} - w_{j}^{'} W_{- j} (W_{- j}^{'} W_{- j})^{- 1} W_{- j}^{'} w_{j}]^{- 1}

$\textrm{VIF}_j = \frac{\textrm{Var}(\hat{b}_j)}{\sigma^2} = [\mathbf{w}_j^{\prime} \mathbf{w}_j - \mathbf{w}_j^{\prime} \mathbf{W}_{-j} (\mathbf{W}_{-j}^{\prime} \mathbf{W}_{-j})^{-1} \mathbf{W}_{-j}^{\prime} \mathbf{w}_j]^{-1}$

W

$\mathbf{W}$

X

$\mathbf{X}$

Kann mir jemand zeigen, wie ich von hier zur Gleichung ist der Koeffizient der Mehrfachbestimmung, der durch Regression von auf die anderen Regressorvariablen erhalten wird.

{VIF}_{j} = \frac{1}{1 - R_{j}^{2}}

$\textrm{VIF}_j = \frac{1}{1-R_j^2}$

R_{j}^{2}

$R_j^2$

x_{j}

$x_j$

Ich habe viele Probleme damit, diese Matrixoperationen richtig zu machen ...

multiple-regression vif

— Gemeinschaft
quelle

Angenommen, alle Variablen werden durch die Korrelationstransformation standardisiert, wie Sie bereits erwähnt haben, eine längenskalierte Version von . Das standardisierte Modell ändert die Korrelation zwischen Variablen nicht. kann berechnet werden, wenn eine standardisierte Transformation des ursprünglichen linearen Modells durchgeführt wird. Bezeichnen wir die Entwurfsmatrix nach der standardisierten Transformation als Dann $X$ $\mathbf{X}$ $X$ $VIF$

\begin{aligned} X^{*} = [\begin{matrix} 1 & X_{11} & \dots & X_{1, p - 1} \\ 1 & X_{21} & \dots & X_{2, p - 1} \\ ⋮ & ⋮ & ⋮ & ⋮ \\ 1 & X_{n 1} & \dots & X_{n, p - 1} \end{matrix}] . \end{aligned}

$\begin{align*} \mathbf{X^*} = \begin{bmatrix} 1& X_{11}& \ldots &X_{1,p-1} \\ 1& X_{21}& \ldots &X_{2,p-1} \\ \vdots & \vdots & \vdots & \vdots \\ 1& X_{n1}& \ldots &X_{n,p-1} \\ \end{bmatrix}. \end{align*}$

\begin{aligned} X^{*^{'}} X^{*} = [\begin{matrix} n & 0^{'} \\ 0 & r_{X X} \end{matrix}], \end{aligned}

$\begin{align*} \mathbf{X^{*'}X^*} = \begin{bmatrix} n & \mathbf{0}' \\ \mathbf{0} & \mathbf{r}_{XX} \end{bmatrix}, \end{align*}$ wobei die Korrelationsmatrix von Variablen ist. Wir wissen auch, dass für ist der te diagonale Term von .

r_{X X}

$\mathbf{r}_{XX}$

X

$X$

\begin{aligned} σ^{2} {\hat{β}} & = σ^{2} (X^{*^{'}} X^{*})^{- 1} \\ = σ^{2} [\begin{matrix} \frac{1}{n} & 0^{'} \\ 0 & r_{X X}^{- 1} . \end{matrix}] \end{aligned}

$\begin{align*} \sigma^2\{\hat{\beta}\} & = \sigma^2 (\mathbf{X^{*'}X^*})^{-1}\\ & = \sigma^2 \begin{bmatrix} \frac{1}{n} & \mathbf{0}' \\ \mathbf{0} & \mathbf{r}^{-1}_{XX}. \end{bmatrix}\\ \end{align*}$

V I F_{k}

$VIF_k$

k = 1, 2, \dots, p - 1

$k=1,2,\ldots,p-1$

k

$k$

r_{X X}^{- 1}

$\mathbf{r}^{-1}_{XX}$

k = 1

$k = 1$

r_{X X}

$r_{XX}$

k

$k$ . Definieren wir: Beachten Sie, dass sich beide Matrizen von den Entwurfsmatrizen unterscheiden. Da wir uns nur um die Koeffizienten von Variablen kümmern , kann der Vektor einer Entwurfsmatrix bei unserer Berechnung ignoriert werden. Somit kann durch Verwendung von Schur-Komplement ,

\begin{aligned} X_{(- 1)} = [\begin{matrix} X_{12} & \dots & X_{1, p - 1} \\ X_{22} & \dots & X_{2, p - 1} \\ ⋮ & ⋮ & ⋮ \\ X_{n 2} & \dots & X_{n, p - 1} \end{matrix}], X_{1} = [\begin{matrix} X_{11} \\ X_{21} \\ ⋮ \\ X_{n 1} \end{matrix}] . \end{aligned}

$\begin{align*} \mathbf{X}_{(-1)} = \begin{bmatrix} X_{12}&\ldots&X_{1,p-1} \\X_{22}&\ldots&X_{2,p-1}\\ \vdots & \vdots & \vdots \\ X_{n2}&\ldots&X_{n,p-1} \\ \end{bmatrix}, \mathbf{X}_1 = \begin{bmatrix} X_{11} \\ X_{21} \\ \vdots \\ X_{n1} \\ \end{bmatrix}. \end{align*}$

X

$X$

1

$1$

\begin{aligned} r_{X X}^{- 1} (1, 1) & = (r_{11} - r_{1 X_{(- 1)}} r_{X_{(- 1)} X_{(- 1)}}^{- 1} r_{X_{(- 1)} 1})^{- 1} \\ = (r_{11} - [r_{1 X_{(- 1)}} r_{X_{(- 1)} X_{(- 1)}}^{- 1}] r_{X_{(- 1)} X_{(- 1)}} [r_{X_{(- 1)} X_{(- 1)}}^{- 1} r_{X_{(- 1)} 1}])^{- 1} \\ = (1 - β_{1 X_{(- 1)}}^{'} X_{(- 1)}^{'} X_{(- 1)} β_{1 X_{(- 1)}})^{- 1}, \end{aligned}

$\begin{align*} r^{-1}_{XX} (1,1) & = (r_{11} - r_{1\mathbf{X}_{(-1)}} r^{-1}_{\mathbf{X}_{(-1)}\mathbf{X}_{(-1)}} r_{\mathbf{X}_{(-1)}1})^{-1} \\ & = (r_{11} - [r_{1\mathbf{X}_{(-1)}} r^{-1}_{\mathbf{X}_{(-1)}\mathbf{X}_{(-1)}}] r_{\mathbf{X}_{(-1)}\mathbf{X}_{(-1)}} [r^{-1}_{\mathbf{X}_{(-1)}\mathbf{X}_{(-1)}} r_{\mathbf{X}_{(-1)}1}])^{-1} \\ & = (1-\beta_{1\mathbf{X}_{(-1)}}' \mathbf{X}_{(-1)}' \mathbf{X}_{(-1)} \beta_{1\mathbf{X}_{(-1)}} )^{-1}, \end{align*}$ wobei die Regressionskoeffizienten von on sind Ausnahme des Abschnitts. In der Tat sollte der Achsenabschnitt der Ursprung sein, da alle

β_{1 X_{(- 1)}}

$\beta_{1\mathbf{X}_{(-1)}}$

X_{1}

$X_1$

X_{2}, \dots, X_{p - 1}

$X_2, \ldots, X_{p-1}$

X

$X$ Variablen werden mit dem Mittelwert Null standardisiert. Auf der anderen Seite (es wäre einfacher, wenn wir alles in expliziter Matrixform schreiben könnten) Daher

\begin{aligned} R_{1}^{2} & = \frac{S S R}{S S T O} = \frac{β_{1 X_{(- 1)}}^{'} X_{(- 1)}^{'} X_{(- 1)} β_{1 X_{(- 1)}}}{1} \\ = β_{1 X_{(- 1)}}^{'} X_{(- 1)}^{'} X_{(- 1)} β_{1 X_{(- 1)}} . \end{aligned}

$\begin{align*} R_1^2 & = \frac{SSR}{SSTO} = \frac{\beta_{1\mathbf{X}_{(-1)}}' \mathbf{X}_{(-1)}' \mathbf{X}_{(-1)} \beta_{1\mathbf{X}_{(-1)}}}{1} \\ & = \beta_{1\mathbf{X}_{(-1)}}' \mathbf{X}_{(-1)}' \mathbf{X}_{(-1)} \beta_{1\mathbf{X}_{(-1)}}. \end{align*}$

\begin{aligned} V I F_{1} = r_{X X}^{- 1} (1, 1) = \frac{1}{1 - R_{1}^{2}} . \end{aligned}

$\begin{align*} VIF_1 = r^{-1}_{XX} (1,1) = \frac{1}{1-R_1^2}. \end{align*}$

— jwyao
quelle