Leiten Sie die Varianz des Regressionskoeffizienten in der einfachen linearen Regression ab

Bei der einfachen linearen Regression ist , wobei . Ich habe den Schätzer abgeleitet: wobei und die Beispielmittel für und . $y = \beta_0 + \beta_1 x + u$ $u \sim iid\;\mathcal N(0,\sigma^2)$

\hat{β_{1}} = \frac{\sum_{i} (x_{i} - \bar{x}) (y_{i} - \bar{y})}{\sum_{i} (x_{i} - \bar{x})^{2}},

$\hat{\beta_1} = \frac{\sum_i (x_i - \bar{x})(y_i - \bar{y})}{\sum_i (x_i - \bar{x})^2}\ ,$

\bar{x}

$\bar{x}$

\bar{y}

$\bar{y}$

x

$x$

y

$y$

Jetzt möchte ich die Varianz von . Ich habe ungefähr Folgendes abgeleitet: $\hat\beta_1$

Var (\hat{β_{1}}) = \frac{σ^{2} (1 - \frac{1}{n})}{\sum_{i} (x_{i} - \bar{x})^{2}} .

$\text{Var}(\hat{\beta_1}) = \frac{\sigma^2(1 - \frac{1}{n})}{\sum_i (x_i - \bar{x})^2}\ .$

Die Ableitung ist wie folgt:

\begin{aligned} Var (\hat{β_{1}}) \\ = Var (\frac{\sum_{i} (x_{i} - \bar{x}) (y_{i} - \bar{y})}{\sum_{i} (x_{i} - \bar{x})^{2}}) \\ = \frac{1}{(\sum_{i} (x_{i} - \bar{x})^{2})^{2}} Var (\sum_{i} (x_{i} - \bar{x}) (β_{0} + β_{1} x_{i} + u_{i} - \frac{1}{n} \sum_{j} (β_{0} + β_{1} x_{j} + u_{j}))) \\ = \frac{1}{(\sum_{i} (x_{i} - \bar{x})^{2})^{2}} Var (β_{1} \sum_{i} (x_{i} - \bar{x})^{2} + \sum_{i} (x_{i} - \bar{x}) (u_{i} - \sum_{j} \frac{u_{j}}{n})) \\ = \frac{1}{(\sum_{i} (x_{i} - \bar{x})^{2})^{2}} Var (\sum_{i} (x_{i} - \bar{x}) (u_{i} - \sum_{j} \frac{u_{j}}{n})) \\ = \frac{1}{(\sum_{i} (x_{i} - \bar{x})^{2})^{2}} \times \\ E [{(\sum_{i} (x_{i} - \bar{x}) (u_{i} - \sum_{j} \frac{u_{j}}{n}) - \underset{= 0}{\underset{⏟}{E [\sum_{i} (x_{i} - \bar{x}) (u_{i} - \sum_{j} \frac{u_{j}}{n})]}})}^{2}] \\ = \frac{1}{(\sum_{i} (x_{i} - \bar{x})^{2})^{2}} E [{(\sum_{i} (x_{i} - \bar{x}) (u_{i} - \sum_{j} \frac{u_{j}}{n}))}^{2}] \\ = \frac{1}{(\sum_{i} (x_{i} - \bar{x})^{2})^{2}} E [\sum_{i} (x_{i} - \bar{x})^{2} (u_{i} - \sum_{j} \frac{u_{j}}{n})^{2}], since u_{i}'s are iid \\ = \frac{1}{(\sum_{i} (x_{i} - \bar{x})^{2})^{2}} \sum_{i} (x_{i} - \bar{x})^{2} E {(u_{i} - \sum_{j} \frac{u_{j}}{n})}^{2} \\ = \frac{1}{(\sum_{i} (x_{i} - \bar{x})^{2})^{2}} \sum_{i} (x_{i} - \bar{x})^{2} (E (u_{i}^{2}) - 2 \times E (u_{i} \times (\sum_{j} \frac{u_{j}}{n})) + E {(\sum_{j} \frac{u_{j}}{n})}^{2}) \\ = \frac{1}{(\sum_{i} (x_{i} - \bar{x})^{2})^{2}} \sum_{i} (x_{i} - \bar{x})^{2} (σ^{2} - \frac{2}{n} σ^{2} + \frac{σ^{2}}{n}) \\ = \frac{σ^{2}}{\sum_{i} (x_{i} - \bar{x})^{2}} (1 - \frac{1}{n}) \end{aligned}

$\begin{align} &\text{Var}(\hat{\beta_1})\\ & = \text{Var} \left(\frac{\sum_i (x_i - \bar{x})(y_i - \bar{y})}{\sum_i (x_i - \bar{x})^2} \right) \\ & = \frac{1}{(\sum_i (x_i - \bar{x})^2)^2} \text{Var}\left( \sum_i (x_i - \bar{x})\left(\beta_0 + \beta_1x_i + u_i - \frac{1}{n}\sum_j(\beta_0 + \beta_1x_j + u_j) \right)\right)\\ & = \frac{1}{(\sum_i (x_i - \bar{x})^2)^2} \text{Var}\left( \beta_1 \sum_i (x_i - \bar{x})^2 + \sum_i(x_i - \bar{x}) \left(u_i - \sum_j \frac{u_j}{n}\right) \right)\\ & = \frac{1}{(\sum_i (x_i - \bar{x})^2)^2}\text{Var}\left( \sum_i(x_i - \bar{x})\left(u_i - \sum_j \frac{u_j}{n}\right)\right)\\ & = \frac{1}{(\sum_i (x_i - \bar{x})^2)^2}\;\times \\ &\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;E\left[\left( \sum_i(x_i - \bar{x})(u_i - \sum_j \frac{u_j}{n}) - \underbrace{E\left[\sum_i(x_i - \bar{x})(u_i - \sum_j \frac{u_j}{n})\right] }_{=0}\right)^2\right]\\ & = \frac{1}{(\sum_i (x_i - \bar{x})^2)^2} E\left[\left( \sum_i(x_i - \bar{x})(u_i - \sum_j \frac{u_j}{n})\right)^2 \right] \\ & = \frac{1}{(\sum_i (x_i - \bar{x})^2)^2} E\left[\sum_i(x_i - \bar{x})^2(u_i - \sum_j \frac{u_j}{n})^2 \right]\;\;\;\;\text{ , since } u_i \text{ 's are iid} \\ & = \frac{1}{(\sum_i (x_i - \bar{x})^2)^2}\sum_i(x_i - \bar{x})^2E\left(u_i - \sum_j \frac{u_j}{n}\right)^2\\ & = \frac{1}{(\sum_i (x_i - \bar{x})^2)^2}\sum_i(x_i - \bar{x})^2 \left(E(u_i^2) - 2 \times E \left(u_i \times (\sum_j \frac{u_j}{n})\right) + E\left(\sum_j \frac{u_j}{n}\right)^2\right)\\ & = \frac{1}{(\sum_i (x_i - \bar{x})^2)^2}\sum_i(x_i - \bar{x})^2 \left(\sigma^2 - \frac{2}{n}\sigma^2 + \frac{\sigma^2}{n}\right)\\ & = \frac{\sigma^2}{\sum_i (x_i - \bar{x})^2}\left(1 - \frac{1}{n}\right) \end{align}$

Habe ich hier etwas falsch gemacht?

Ich weiß, wenn ich alles in Matrixnotation mache, erhalte ich . Aber ich versuche, die Antwort abzuleiten, ohne die Matrixnotation zu verwenden, nur um sicherzustellen, dass ich die Konzepte verstehe. ${\rm Var}(\hat{\beta_1}) = \frac{\sigma^2}{\sum_i (x_i - \bar{x})^2}$

— mein Name ist Jeff
quelle

Ja, Ihre Formel aus der Matrixnotation ist korrekt. Betrachtet man die fragliche Formel mit so sieht es eher so aus, als ob Sie irgendwo eine Standardabweichung der Stichprobe anstelle einer Populationsstandardabweichung verwendet hätten? Ohne die Ableitung zu sehen, ist es schwer, mehr zu sagen.

1 - \frac{1}{n} = \frac{n - 1}{n}

$1-\frac1{n}\,=\,\frac{n-1}{n}$

— TooTone

Allgemeine Antworten wurden auch im Duplikat-Thread unter stats.stackexchange.com/questions/91750 veröffentlicht .

— whuber

Antworten:

Zu Beginn Ihrer Herleitung multiplizieren Sie die Klammern und erweitern dabei sowohl als auch . Ersteres hängt von der Summenvariablen , letzteres nicht. Wenn Sie unverändert lassen, ist die Ableitung viel einfacher, da $\sum_i (x_i - \bar{x})(y_i - \bar{y})$ $y_i$ $\bar{y}$ $i$ $\bar{y}$

\begin{aligned} \sum_{i} (x_{i} - \bar{x}) \bar{y} & = \bar{y} \sum_{i} (x_{i} - \bar{x}) \\ = \bar{y} ((\sum_{i} x_{i}) - n \bar{x}) \\ = \bar{y} (n \bar{x} - n \bar{x}) \\ = 0 \end{aligned}

$\begin{align} \sum_i (x_i - \bar{x})\bar{y} &= \bar{y}\sum_i (x_i - \bar{x})\\ &= \bar{y}\left(\left(\sum_i x_i\right) - n\bar{x}\right)\\ &= \bar{y}\left(n\bar{x} - n\bar{x}\right)\\ &= 0 \end{align}$

Daher

\begin{aligned} \sum_{i} (x_{i} - \bar{x}) (y_{i} - \bar{y}) & = \sum_{i} (x_{i} - \bar{x}) y_{i} - \sum_{i} (x_{i} - \bar{x}) \bar{y} \\ = \sum_{i} (x_{i} - \bar{x}) y_{i} \\ = \sum_{i} (x_{i} - \bar{x}) (β_{0} + β_{1} x_{i} + u_{i}) \end{aligned}

$\begin{align} \sum_i (x_i - \bar{x})(y_i - \bar{y}) &= \sum_i (x_i - \bar{x})y_i - \sum_i (x_i - \bar{x})\bar{y}\\ &= \sum_i (x_i - \bar{x})y_i\\ &= \sum_i (x_i - \bar{x})(\beta_0 + \beta_1x_i + u_i )\\ \end{align}$

und

\begin{aligned} Var (\hat{β_{1}}) & = Var (\frac{\sum_{i} (x_{i} - \bar{x}) (y_{i} - \bar{y})}{\sum_{i} (x_{i} - \bar{x})^{2}}) \\ = Var (\frac{\sum_{i} (x_{i} - \bar{x}) (β_{0} + β_{1} x_{i} + u_{i})}{\sum_{i} (x_{i} - \bar{x})^{2}}), substituting in the above \\ = Var (\frac{\sum_{i} (x_{i} - \bar{x}) u_{i}}{\sum_{i} (x_{i} - \bar{x})^{2}}), noting only u_{i} is a random variable \\ = \frac{\sum_{i} (x_{i} - \bar{x})^{2} Var (u_{i})}{{(\sum_{i} (x_{i} - \bar{x})^{2})}^{2}}, independence of u_{i} and, Var (k X) = k^{2} Var (X) \\ = \frac{σ^{2}}{\sum_{i} (x_{i} - \bar{x})^{2}} \end{aligned}

$\begin{align} \text{Var}(\hat{\beta_1}) & = \text{Var} \left(\frac{\sum_i (x_i - \bar{x})(y_i - \bar{y})}{\sum_i (x_i - \bar{x})^2} \right) \\ &= \text{Var} \left(\frac{\sum_i (x_i - \bar{x})(\beta_0 + \beta_1x_i + u_i )}{\sum_i (x_i - \bar{x})^2} \right), \;\;\;\text{substituting in the above} \\ &= \text{Var} \left(\frac{\sum_i (x_i - \bar{x})u_i}{\sum_i (x_i - \bar{x})^2} \right), \;\;\;\text{noting only $u_i$ is a random variable} \\ &= \frac{\sum_i (x_i - \bar{x})^2\text{Var}(u_i)}{\left(\sum_i (x_i - \bar{x})^2\right)^2} , \;\;\;\text{independence of } u_i \text{ and, Var}(kX)=k^2\text{Var}(X) \\ &= \frac{\sigma^2}{\sum_i (x_i - \bar{x})^2} \\ \end{align}$

Welches ist das Ergebnis, das Sie wollen.

Als Randnotiz habe ich lange versucht, einen Fehler in Ihrer Ableitung zu finden. Am Ende entschied ich, dass Diskretion der bessere Teil der Tapferkeit ist und es am besten ist, den einfacheren Ansatz zu versuchen. Ich war mir jedoch nicht sicher, ob dieser Schritt gerechtfertigt ist da die aufgrund von .

\begin{aligned} = . \frac{1}{(\sum_{i} (x_{i} - \bar{x})^{2})^{2}} E [{(\sum_{i} (x_{i} - \bar{x}) (u_{i} - \sum_{j} \frac{u_{j}}{n}))}^{2}] \\ = \frac{1}{(\sum_{i} (x_{i} - \bar{x})^{2})^{2}} E [\sum_{i} (x_{i} - \bar{x})^{2} (u_{i} - \sum_{j} \frac{u_{j}}{n})^{2}], since u_{i}'s are iid \end{aligned}

$\begin{align} & =. \frac{1}{(\sum_i (x_i - \bar{x})^2)^2} E\left[\left( \sum_i(x_i - \bar{x})(u_i - \sum_j \frac{u_j}{n})\right)^2 \right] \\ & = \frac{1}{(\sum_i (x_i - \bar{x})^2)^2} E\left[\sum_i(x_i - \bar{x})^2(u_i - \sum_j \frac{u_j}{n})^2 \right]\;\;\;\;\text{ , since } u_i \text{ 's are iid} \\ \end{align}$

\sum_{j} \frac{u_{j}}{n}

$\sum_j \frac{u_j}{n}$

— TooTone
quelle

Ich bemerkte, dass ich den einfacheren Ansatz schon vor langer Zeit verwenden konnte, war aber entschlossen, tief zu graben und die gleiche Antwort mit verschiedenen Ansätzen zu finden, um sicherzustellen, dass ich die Konzepte verstehe. Ich , dass zuerst aus normalen Gleichungen (FOC aus Methode der kleinsten Quadrate), also , plus , also . Daher wird der Begriff an erster Stelle stehen.

\sum_{j} \hat{u_{j}} = 0

$\sum_j \hat{u_j} = 0$

\bar{\hat{u}} = \frac{\sum_{i} u_{i}}{n} = 0

$\bar{\hat{u}} = \frac{\sum_i u_i}{n}=0$

\bar{\hat{u}} = \bar{y} - \bar{\hat{y}} = 0

$\bar{\hat{u}} = \bar{y} - \bar{\hat{y}} = 0$

\bar{y} = \bar{\hat{y}}

$\bar{y} = \bar{\hat{y}}$

\sum_{j} \frac{u_{j}}{n}

$\sum_j \frac{u_j}{n}$

— mynameisJEFF

ok, in deiner frage lag der schwerpunkt auf der vermeidung der matrixnotation.

— TooTone

Ja, weil ich es mit der Matrixnotation lösen konnte. Und beachten Sie aus meinem letzten Kommentar, ich habe keine lineare Algebra verwendet.

— Trotzdem

Entschuldigung, reden wir hier über Kreuz? Ich habe in meiner Antwort auch keine Matrixnotation verwendet, und ich dachte, das war es, was Sie in Ihrer Frage gefragt haben.

— TooTone

Entschuldigung für das Missverständnis haha ...

— mynameisJEFF

Ich glaube, das Problem in Ihrem Beweis ist der Schritt, in dem Sie den erwarteten Wert des Quadrats von . Dies hat die Form , wobei . Beim Quadrieren erhalten wir also . Nach expliziter Berechnung ist , also als $\sum_i (x_i - \bar{x} )\left( u_i -\sum_j \frac{u_j}{n} \right)$ $E \left[\left(\sum_i a_i b_i \right)^2 \right]$ $a_i = x_i -\bar{x}; b_i = u_i -\sum_j \frac{u_j}{n}$ $E \left[ \sum_{i,j} a_i a_j b_i b_j \right] = \sum_{i,j} a_i a_j E\left[b_i b_j \right]$ $E\left[b_i b_j \right] = \sigma^2 \left( \delta_{ij} -\frac{1}{n} \right)$ $E \left[ \sum_{i,j} a_i a_j b_i b_j \right] = \sum_{i,j} a_i a_j \sigma^2 \left( \delta_{ij} -\frac{1}{n} \right) = \sum_i a_i^2 \sigma^2$ $\sum_i a_i = 0$ .

— Stefano
quelle

Beginnen Sie mit "Die Ableitung lautet wie folgt:" Das 7. "=" ist falsch.

weil

$\sum_i (x_i - \bar{x})(u_i - \bar{u})$

$= \sum_i (x_i - \bar{x})u_i - \sum_i (x_i - \bar{x}) \bar{u}$

$= \sum_i (x_i - \bar{x})u_i - \bar{u} \sum_i (x_i - \bar{x})$

$= \sum_i (x_i - \bar{x})u_i - \bar{u} (\sum_i{x_i} -n \bar{x})$

$= \sum_i (x_i - \bar{x})u_i - \bar{u} (\sum_i{x_i} -\sum_i{x_i})$

$= \sum_i (x_i - \bar{x})u_i - \bar{u} 0$

$= \sum_i (x_i - \bar{x})u_i$

Also nach dem 7. "=" sollte es sein:

$\frac {1} {(\sum_i(x_i-\bar{x})^2)^2}E\left[\left(\sum_i(x_i-\bar{x})u_i\right)^2\right]$

$=\frac {1} {(\sum_i(x_i-\bar{x})^2)^2}E\left(\sum_i(x_i-\bar{x})^2u_i^2 + 2\sum_{i\ne j}(x_i-\bar{x})(x_j-\bar{x})u_iu_j\right)$

= $\frac {1} {(\sum_i(x_i-\bar{x})^2)^2}E\left(\sum_i(x_i-\bar{x})^2u_i^2\right) + 2E\left(\sum_{i\ne j}(x_i-\bar{x})(x_j-\bar{x})u_iu_j\right)$

= , weil und sind unabhängig und bedeuten 0, also ist $\frac {1} {(\sum_i(x_i-\bar{x})^2)^2}E\left(\sum_i(x_i-\bar{x})^2u_i^2\right)$ $u_i$ $u_j$ $E(u_iu_j) =0$

= $\frac {1} {(\sum_i(x_i-\bar{x})^2)^2}\left(\sum_i(x_i-\bar{x})^2E(u_i^2)\right)$

$\frac {\sigma^2} {(\sum_i(x_i-\bar{x})^2)^2}$

— user158565
quelle

Es kann hilfreich sein, wenn Sie Ihre Antwort so bearbeitet haben, dass sie die richtige Zeile enthält.

— Mdewey

Ihre Antwort wird automatisch als minderwertig gekennzeichnet, da sie sehr kurz ist. Bitte erwägen Sie, Ihre Antwort zu erweitern

— Glen_b