Hintergrund

Angenommen, wir haben ein gewöhnliches Modell der kleinsten Quadrate, in dem wir $k$ Koeffizienten in unserem Regressionsmodell haben,

y = X β + ϵ

$\mathbf{y}=\mathbf{X}\mathbf{\beta} + \mathbf{\epsilon}$

wobei $\mathbf{\beta}$ ein $(k\times1)$ Koeffizientenvektor ist, ist $\mathbf{X}$ die Entwurfsmatrix durch definierte

X = (\begin{matrix} 1 & x_{11} & x_{12} & \dots & x_{1 (k - 1)} \\ 1 & x_{21} & \dots & ⋮ \\ ⋮ & ⋱ & ⋮ \\ 1 & x_{n 1} & \dots & \dots & x_{n (k - 1)} \end{matrix})

$\mathbf{X} = \begin{pmatrix} 1 & x_{11} & x_{12} & \dots & x_{1\;(k-1)} \\ 1 & x_{21} & \dots & & \vdots \\ \vdots & & \ddots & & \vdots \\ 1 & x_{n1} & \dots & \dots & x_{n\;(k-1)} \end{pmatrix}$ und die Fehler werden IID normal,

ϵ \sim N (0, σ^{2} I) .

$\mathbf{\epsilon} \sim \mathcal{N}\left(\mathbf{0},\sigma^2 \mathbf{I}\right) \;.$

Wir minimieren die Summe von eckigen Fehler , die durch unsere Schätzungen Einstellung für $\mathbf{\beta}$ zu

\hat{β} = (X^{T} X)^{- 1} X^{T} y .

$\mathbf{\hat{\beta}}= (\mathbf{X^T X})^{-1}\mathbf{X}^T \mathbf{y}\;.$

Ein unverzerrter Schätzer von IS $\sigma^2$ , wo (ref).

s^{2} = \frac{{‖ y - \hat{y} ‖}^{2}}{n - p}

$s^2 = \frac{\left\Vert \mathbf{y}-\mathbf{\hat{y}}\right\Vert ^2}{n-p}$

\hat{y} \equiv X \hat{β}

$\mathbf{\hat{y}} \equiv \mathbf{X} \mathbf{\hat{\beta}}$

Die Kovarianz von ist gegeben durch , wo ( $\mathbf{\hat{\beta}}$

Cov (\hat{β}) = σ^{2} C

$\operatorname{Cov}\left(\mathbf{\hat{\beta}}\right) = \sigma^2 \mathbf{C}$

C \equiv (X^{T} X)^{- 1}

$\mathbf{C}\equiv(\mathbf{X}^T\mathbf{X})^{-1}$ ref ).

Frage

Wie kann ich beweisen , dass für , $\hat\beta_i$ wobeieine t-Verteilung mit istFreiheitsgrade, und der Standardfehler vonwird geschätzt durch

\frac{{\hat{β}}_{i} - β_{i}}{s_{{\hat{β}}_{i}}} \sim t_{n - k}

$\frac{\hat{\beta}_i - \beta_i} {s_{\hat{\beta}_i}} \sim t_{n-k}$

t_{n - k}

$t_{n-k}$

(n - k)

$(n-k)$

{\hat{β}}_{i}

$\hat{\beta}_i$

s_{{\hat{β}}_{i}} = s \sqrt{c_{i i}}

$s_{\hat{\beta}_i} = s\sqrt{c_{ii}}$

Meine Versuche

Ich weiß, dass man für Zufallsvariablen, die aus abgetastet wurden , zeigen kann, dass $n$ $x\sim\mathcal{N}\left(\mu, \sigma^2\right)$ durch Umschreiben der LHS als

\frac{\bar{x} - μ}{s / \sqrt{n}} \sim t_{n - 1}

$\frac{\bar{x}-\mu}{s/\sqrt{n}} \sim t_{n-1}$

und die Erkenntnis, dass der Zähler eine Standardnormalverteilung ist und der Nenner die Quadratwurzel einer Chi-Quadrat-Verteilung mit df = (n-1) und dividiert durch (n-1) (ref) ist. Und deshalb folgt eine t-Verteilung mit df = (n-1) (ref).

\frac{(\frac{\bar{x} - μ}{σ / \sqrt{n}})}{\sqrt{s^{2} / σ^{2}}}

$\frac{ \left(\frac{\bar x - \mu}{\sigma/\sqrt{n}}\right) } {\sqrt{s^2/\sigma^2}}$

Ich konnte diesen Beweis nicht auf meine Frage übertragen ...

Irgendwelche Ideen? Ich bin mir dieser Frage bewusst , aber sie beweisen sie nicht explizit. Sie geben lediglich eine Faustregel an: "Jeder Prädiktor kostet Sie einen Freiheitsgrad."

— Garrett
quelle

eine lineare Kombination von gemeinsam Normalen Variablen ist, hat es eine Normalverteilung. Deshalb alle müssen Sie tun werden (1) festzustellen , dass

; (2) zeigen , daß

ein unverzerrter Schätzer von ist

; und (3) zeigen , die Freiheitsgrade in

ist ,

stats.stackexchange.com/a/16931

{\hat{β}}_{i}

$\hat\beta_i$

E ({\hat{β}}_{i}) = β_{i}

$\mathbb{E}(\hat\beta_i)=\beta_i$

s_{{\hat{β}}_{i}}^{2}

$s_{\hat\beta_i}^2$

Var ({\hat{β}}_{i})

$\text{Var}(\hat\beta_i)$

s_{{\hat{β}}_{i}}

$s_{\hat\beta_i}$

n - k

$n-k$ . Letzteres hat sich auf dieser Seite an mehreren Stellen bewährt, wie z .Ich vermute, Sie wissen bereits, wie man (1) und (2) macht.

— Whuber

Schon seit wir wissendass und so erkennen wirdaß für jede Komponentevon ,

\begin{aligned} \hat{β} & = (X^{T} X)^{- 1} X^{T} Y \\ = (X^{T} X)^{- 1} X^{T} (X β + ε) \\ = β + (X^{T} X)^{- 1} X^{T} ε \end{aligned}

$\begin{align*} \hat\beta &= (X^TX)^{-1}X^TY \\ &= (X^TX)^{-1}X^T(X\beta + \varepsilon) \\ &= \beta + (X^TX)^{-1}X^T\varepsilon \end{align*}$

\hat{β} - β \sim N (0, σ^{2} (X^{T} X)^{- 1})

$\hat\beta-\beta \sim \mathcal{N}(0,\sigma^2 (X^TX)^{-1})$

k

$k$

\hat{β}

$\hat\beta$

{\hat{β}}_{k} - β_{k} \sim N (0, σ^{2} S_{k k})

$\hat\beta_k -\beta_k \sim \mathcal{N}(0, \sigma^2 S_{kk})$ wobei

das

S_{k k}

$S_{kk}$

k^{th}

$k^\text{th}$

(X^{T} X)^{- 1}

$(X^TX)^{-1}$

z_{k} = \frac{{\hat{β}}_{k} - β_{k}}{\sqrt{σ^{2} S_{k k}}} \sim N (0, 1) .

$z_k = \frac{\hat\beta_k -\beta_k}{\sqrt{\sigma^2 S_{kk}}} \sim \mathcal{N}(0,1).$

Beachten Sie die Aussage des Satzes zur Verteilung einer idempotenten quadratischen Form in einem Standardnormalvektor (Satz B.8 in Greene):

$x\sim\mathcal{N}(0,I)$ and $A$ is symmetric and idempotent, then $x^TAx$ is distributed $\chi^2_{\nu}$ where $\nu$ is the rank of $A$ .

Let $\hat\varepsilon$ denote the regression residual vector and let

M = I_{n} - X (X^{T} X)^{- 1} X^{T},

$M=I_n - X(X^TX)^{-1}X^T \text{,}$ which is the residual maker matrix (i.e.

M y = \hat{ε}

$My=\hat\varepsilon$ ). It's easy to verify that $M$ is symmetric and idempotent.

Let

s^{2} = \frac{{\hat{ε}}^{T} \hat{ε}}{n - p}

$s^2 = \frac{\hat\varepsilon^T \hat\varepsilon}{n-p}$ be an estimator for

σ^{2}

$\sigma^2$ .

We then need to do some linear algebra. Note these three linear algebra properties:

The rank of an idempotent matrix is its trace.
$\operatorname{Tr}(A_1+A_2) = \operatorname{Tr}(A_1) + \operatorname{Tr}(A_2)$
$\operatorname{Tr}(A_1A_2) = \operatorname{Tr}(A_2A_1)$ if $A_1$ is $n_1 \times n_2$ and $A_2$ is $n_2 \times n_1$ (this property is critical for the below to work)

\begin{aligned} rank (M) = Tr (M) & = Tr (I_{n} - X (X^{T} X)^{- 1} X^{T}) \\ = Tr (I_{n}) - Tr (X (X^{T} X)^{- 1} X^{T})) \\ = Tr (I_{n}) - Tr ((X^{T} X)^{- 1} X^{T} X)) \\ = Tr (I_{n}) - Tr (I_{p}) \\ = n - p \end{aligned}

$\begin{align*} \operatorname{rank}(M) = \operatorname{Tr}(M) &= \operatorname{Tr}(I_n - X(X^TX)^{-1}X^T) \\ &= \operatorname{Tr}(I_n) - \operatorname{Tr}\left( X(X^TX)^{-1}X^T) \right) \\ &= \operatorname{Tr}(I_n) - \operatorname{Tr}\left( (X^TX)^{-1}X^TX) \right) \\ &= \operatorname{Tr}(I_n) - \operatorname{Tr}(I_p) \\ &=n-p \end{align*}$

Then

\begin{aligned} V = \frac{(n - p) s^{2}}{σ^{2}} = \frac{{\hat{ε}}^{T} \hat{ε}}{σ^{2}} = {(\frac{ε}{σ})}^{T} M (\frac{ε}{σ}) . \end{aligned}

$\begin{align*} V = \frac{(n-p)s^2}{\sigma^2} = \frac{\hat\varepsilon^T\hat\varepsilon}{\sigma^2} = \left(\frac{\varepsilon}{\sigma}\right)^T M \left(\frac{\varepsilon}{\sigma}\right). \end{align*}$

Applying the Theorem for the Distribution of an Idempotent Quadratic Form in a Standard Normal Vector (stated above), we know that $V \sim \chi^2_{n-p}$ .

Since you assumed that $\varepsilon$ is normally distributed, then $\hat\beta$ is independent of $\hat\varepsilon$ , and since $s^2$ is a function of $\hat\varepsilon$ , then $s^2$ is also independent of $\hat\beta$ . Thus, $z_k$ and $V$ are independent of each other.

Then,

\begin{aligned} t_{k} = \frac{z_{k}}{\sqrt{V / (n - p)}} \end{aligned}

$\begin{align*} t_k = \frac{z_k}{\sqrt{V/(n-p)}} \end{align*}$ is the ratio of a standard Normal distribution with the square root of a Chi-squared distribution with the same degrees of freedom (i.e.

n - p

$n-p$ ), which is a characterization of the

t

$t$ distribution. Therefore, the statistic $t_k$ has a $t$ distribution with $n-p$ degrees of freedom.

It can then be algebraically manipulated into a more familiar form.

\begin{aligned} t_{k} & = \frac{\frac{{\hat{β}}_{k} - β_{k}}{\sqrt{σ^{2} S_{k k}}}}{\sqrt{\frac{(n - p) s^{2}}{σ^{2}} / (n - p)}} \\ = \frac{\frac{{\hat{β}}_{k} - β_{k}}{\sqrt{S_{k k}}}}{\sqrt{s^{2}}} = \frac{{\hat{β}}_{k} - β_{k}}{\sqrt{s^{2} S_{k k}}} \\ = \frac{{\hat{β}}_{k} - β_{k}}{se ({\hat{β}}_{k})} \end{aligned}

$\begin{align*} t_k &= \frac{\frac{\hat\beta_k -\beta_k}{\sqrt{\sigma^2 S_{kk}}}}{\sqrt{\frac{(n-p)s^2}{\sigma^2}/(n-p)}} \\ &= \frac{\frac{\hat\beta_k -\beta_k}{\sqrt{S_{kk}}}}{\sqrt{s^2}} = \frac{\hat\beta_k -\beta_k}{\sqrt{s^2 S_{kk}}} \\ &= \frac{\hat\beta_k -\beta_k}{\operatorname{se}\left(\hat\beta_k \right)} \end{align*}$

— Blue Marker
quelle

Also a side question: for the Theorem for the Distribution of an Idempotent Quadratic Form in a Standard Normal Vector, don't we also need

A

$A$ to be symmetric? Unfortunately, I don't have Greene, so I can't see the proof although I saw that Wikipedia had the same form as you. However, a counter example seems to be the idempotent matrix

A = (\begin{matrix} 1 & 1 \\ 0 & 0 \end{matrix})

$A=\begin{pmatrix}1&1\\0&0\end{pmatrix}$ which leads to

x_{1}^{2} + x_{1} x_{2}

$x_1^2+x_1 x_2$ which is not Chi-Squared since it could take on negative values...

— Garrett

@Garrett My apologies,

A

$A$ should be both symmetric and idempotent. A proof is provided as Theorem 3 in this document: www2.econ.iastate.edu/classes/econ671/hallam/documents/… Luckily,

M

$M$ is symmetric as well as idempotent.

— Blue Marker

A

$A$ is merely a matrix representation of a quadratic form. Every quadratic form has a symmetric representation, so the requirement of symmetry of

A

$A$ is implicit in the statement of the theorem. (People do not use asymmetric matrices to represent quadratic forms.) Thus the quadratic form

(x_{1}, x_{2}) \to x_{1}^{2} + x_{1} x_{2}

$(x_1,x_2)\to x_1^2+x_1x_2$ is uniquely represented by the matrix

A = (\begin{matrix} 1 & 1 / 2 \\ 1 / 2 & 0 \end{matrix})

$A=\begin{pmatrix}1&1/2\\1/2&0\end{pmatrix}$ which is not idempotent.

— whuber

Why does

ϵ \sim N (0, σ^{2})

$\epsilon\sim N(0,\sigma^2)$ imply

\hat{β}

$\hat{\beta}$ is independent of

\hat{ϵ}

$\hat{\epsilon}$ ? Not quite following there.

— Glassjawed

@Glassjawed As both

\hat{β}

$\hat{\beta}$ and

\hat{ε}

$\hat{\varepsilon}$ are multivariate normally distributed, then uncorrelatedness implies independence. Using expressions

\hat{β} = β + {(X^{⊤} X)}^{- 1} X^{⊤} ε

$\hat{\beta} = \beta + \left(X^{\top}X\right)^{-1}X^{\top}\varepsilon$ and

\hat{ε} = M ε

$\hat{\varepsilon} = M\varepsilon$ from above, we can show that

Cov (\hat{β}, \hat{ε}) = 0_{p \times n}

$\operatorname{Cov}\left(\hat{\beta}, \hat{\varepsilon}\right) = \mathbf{0}_{p\times n}$ .

— rzch

Beweis, dass die Koeffizienten in einem OLS-Modell einer t-Verteilung mit (nk) Freiheitsgraden folgen

Hintergrund

Frage

Meine Versuche