Standardfehler für mehrere Regressionskoeffizienten?

Mir ist klar, dass dies eine sehr grundlegende Frage ist, aber ich kann nirgendwo eine Antwort finden.

Ich berechne Regressionskoeffizienten entweder mit den normalen Gleichungen oder mit der QR-Zerlegung. Wie kann ich Standardfehler für jeden Koeffizienten berechnen? Ich betrachte Standardfehler normalerweise als berechnet als:

$SE_\bar{x}\ = \frac{\sigma_{\bar x}}{\sqrt{n}}$

Was ist für jeden Koeffizienten? Was ist der effizienteste Weg, dies im Kontext von OLS zu berechnen? $\sigma_{\bar x}$

standard-error regression-coefficients

— Belmont
quelle

Bei der Schätzung der kleinsten Quadrate (unter der Annahme einer normalen Zufallskomponente) werden die Schätzungen der Regressionsparameter normalerweise mit einem Mittelwert gleich dem wahren Regressionsparameter und der Kovarianzmatrix wobei ist die Restvarianz und ist die Entwurfsmatrix. ist die Transponierte von und ist definiert durch die Modellgleichung mit den Regressionsparametern und ist der Fehlerterm. Die geschätzte Standardabweichung eines Beta-Parameters wird ermittelt, indem der entsprechende Term in $\Sigma = s^2\cdot(X^TX)^{-1}$ $s^2$ $X^TX$ $X^T$ $X$ $X$ $Y=X\beta+\epsilon$ $\beta$ $\epsilon$ $(X^TX)^{-1}$ multiplizieren Sie es mit der Stichprobenschätzung der Restvarianz und nehmen Sie dann die Quadratwurzel. Dies ist keine sehr einfache Berechnung, aber jedes Softwarepaket berechnet es für Sie und liefert es in der Ausgabe.

Beispiel

Auf Seite 134 von Draper und Smith (in meinem Kommentar referenziert) enthalten sie die folgenden Daten für die Anpassung eines Modells mit . $Y = \beta_0 + \beta_1 X + \varepsilon$ $\varepsilon \sim N(0, \mathbb{I}\sigma^2)$

                      X                      Y                    XY
                      0                     -2                     0
                      2                      0                     0
                      2                      2                     4
                      5                      1                     5
                      5                      3                    15
                      9                      1                     9
                      9                      0                     0
                      9                      0                     0
                      9                      1                     9
                     10                     -1                   -10
                    ---                     --                   ---
Sum                  60                      5                    32
Sum of  Squares     482                     21                   528

Sieht aus wie ein Beispiel, bei dem die Steigung nahe bei 0 liegen sollte.

X^{t} = (\begin{matrix} 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 \\ 0 & 2 & 2 & 5 & 5 & 9 & 9 & 9 & 9 & 10 \end{matrix}) .

$X^t = \pmatrix{ 1 &1 &1 &1 &1 &1 &1 &1 &1 &1 \\ 0 &2 &2 &5 &5 &9 &9 &9 &9 &10 }.$

X^{t} X = (\begin{matrix} n & \sum X_{i} \\ \sum X_{i} & \sum X_{i}^{2} \end{matrix}) = (\begin{matrix} 10 & 60 \\ 60 & 482 \end{matrix})

$X^t X = \pmatrix{n &\sum X_i \\ \sum X_i &\sum X_i^2} = \pmatrix{10 &60 \\60 &482}$

und

\begin{aligned} (X^{t} X)^{- 1} & = (\begin{matrix} \frac{\sum X_{ich}^{2}}{n \sum (X_{ich} - \bar{X})^{2}} & \frac{- \bar{X}}{\sum (X_{ich} - \bar{X})^{2}} \\ \frac{- \bar{X}}{\sum (X_{ich} - \bar{X})^{2}} & \frac{1}{\sum (X_{ich} - \bar{X})^{2}} \end{matrix}) \\ = (\begin{matrix} \frac{482}{10 (122)} & - \frac{6}{122} \\ - \frac{6}{122} & \frac{1}{122} \end{matrix}) \\ = (\begin{matrix} 0,395 & - 0,049 \\ - 0,049 & 0,008 \end{matrix}) \end{aligned}

$\eqalign{ (X^t X)^{-1} &= \pmatrix{ \frac{\sum X_i^2}{n \sum (X_i - \bar{X})^2} &\frac{-\bar{X}}{\sum (X_i-\bar{X})^2} \\ \frac{-\bar{X}}{\sum (X_i-\bar{X})^2} &\frac{1}{\sum (X_i-\bar{X})^2} } \\ &= \pmatrix{\frac{482}{10(122)} &-\frac{6}{122} \\ -\frac{6}{122} &\frac{1}{122}} \\ &= \pmatrix{0.395 &-0.049 \\ -0.049 &0.008} }$

Dabei ist . $\bar{X} = \sum X_i/n = 60/10 = 6$

Schätzung für = (b0) = (Yb-b1 Xb) b1 Sxy / Sxx $β = (X^TX)^{-1} X^TY$

b1 = 1/61 = 0,0163 und b0 = 0,5 - 0,0163 (6) = 0,402

Von über Sb1 = Se (0,008) und Sb0 = Se (0,395), wobei Se die geschätzte Standardabweichung für den Fehlerterm ist. Se = √2,3085. $(X^TX)^{-1}$

Es tut mir leid, dass die Gleichungen beim Ausschneiden und Einfügen keine Tief- und Hochstellung aufwiesen. Der Tisch reproduzierte sich auch nicht gut, weil die Leerzeichen ignoriert wurden. Die erste Zeichenfolge mit 3 Zahlen entspricht den ersten Werten von XY und XY und die folgenden drei Zeichenfolgen. Nach der Summe folgt die Summe für XY bzw. XY und dann die Summe der Quadrate für XY bzw. XY. Die 2x2 Matrizen wurden ebenfalls durcheinander gebracht. Die Werte nach den Klammern sollten in Klammern unter den Zahlen links stehen.

— Michael R. Chernick
quelle

Nicht als Stecker für mein Buch gedacht, aber ich gehe die Berechnungen der Lösung kleinster Quadrate in einfacher linearer Regression (Y = aX + b) durch und berechne die Standardfehler für a und b, S. 101-103, The Essentials of Biostatistics für Ärzte, Krankenschwestern und Kliniker, Wiley 2011. Eine detailliertere Beschreibung finden Sie in Draper und Smith Applied Regression Analysis, 3. Auflage, Wiley New York 1998, Seite 126-127. In meiner folgenden Antwort nehme ich ein Beispiel von Draper und Smith.

— Michael R. Chernick

Als ich anfing, mit dieser Seite zu interagieren, hatte ich ähnliche Gefühle. Mit der Erfahrung haben sie sich verändert. Es lohnt sich, etwas und wenn Sie es einmal getan haben, ist es (fast) so schnell, es einzutippen, wie es ist, irgendetwas auf Englisch einzutippen. Durch das Studium beispielhafter Posts (wie z. B. vieler Antworten von @chl-, cardinal- und anderen Benutzern mit hohem Ansehen pro Post) habe ich auch gelernt, dass das Bereitstellen von Referenzen, klaren Abbildungen und gut durchdachten Gleichungen in der Regel sehr geschätzt und gut ist empfangen. Hohe Qualität ist eine Sache, die diese Seite von den meisten anderen unterscheidet.

T E X

$\TeX$

— whuber

Das ist alles schön, Bill, und es ist schön, dass sich so viele Menschen für diese qualitativ hochwertigen Beiträge einsetzen. Ich kann Latex für andere Zwecke verwenden, beispielsweise zum Veröffentlichen von Artikeln. Aber ich habe nicht die Zeit, all die Anstrengungen zu unternehmen, die die Leute auf dieser Seite von mir erwarten. Ich werde nicht die Zeit investieren, nur um auf dieser Site Service zu leisten.

— Michael R. Chernick

Ich denke, die Trennung ist hier: "Dies ist nur eines von vielen Dingen an dieser Website, die erfordern , dass diese Beiträge zusätzliche Zeit und Mühe aufwenden" - @whuber und ich sagen beide, dass es in der Tat keine zusätzliche Zeit in Anspruch nimmt, wenn du weißt wie man es macht. Wir lernen nicht damit wir auf dieser Site posten können - wir (zumindest ich) lernen weil es eine wichtige Fähigkeit als Statistiker ist und Beiträge auf dieser Site viel besser lesbar macht.

T E X

$\TeX$

T E X

$\TeX$

— Makro

Wie viele der Leute hier arbeite ich zwar als Statistiker, aber es macht mir auch Spaß - diese Seite ist für mich eine Freizeitbeschäftigung, und es ist ein schöner Bonus, dass andere einige meiner Beiträge nützlich finden. Wenn Sie feststellen, dass das Markieren Ihrer Gleichungen mit Arbeit ist und Sie nicht der Meinung sind, dass es sich lohnt, sie zu lernen, sollten Sie dies auch tun, aber Sie sollten wissen, dass einige Ihrer Inhalte übersehen werden.

T E X

$\TeX$

— Makro