Ableiten des Standardfehlers des linearen Regressionskoeffizienten

20

Für dieses univariate lineare Regressionsmodell gegebenem Datensatz lauten die Koeffizientenschätzungen Hier ist meine Frage nach dem Buch und Wikipedia , der Standardfehler von ist Wie und warum?

y_{i} = β_{0} + β_{1} x_{i} + ϵ_{i}

$y_i = \beta_0 + \beta_1x_i+\epsilon_i$

D = {(x_{1}, y_{1}), . . ., (x_{n}, y_{n})}

$D=\{(x_1,y_1),...,(x_n,y_n)\}$

{\hat{β}}_{1} = \frac{\sum_{ich} x_{ich} y_{ich} - n \bar{x} \bar{y}}{n {\bar{x}}^{2} - \sum_{ich} x_{ich}^{2}}

$\hat\beta_1=\frac{\sum_ix_iy_i-n\bar x\bar y}{n\bar x^2-\sum_ix_i^2}$

{\hat{β}}_{0} = \bar{y} - {\hat{β}}_{1} \bar{x}

$\hat\beta_0=\bar y - \hat\beta_1\bar x$

{\hat{β}}_{1}

$\hat\beta_1$

s_{{\hat{β}}_{1}} = \sqrt{\frac{\sum_{ich} {\hat{ϵ}}_{ich}^{2}}{(n - 2) \sum_{ich} (x_{ich} - \bar{x})^{2}}}

$s_{\hat\beta_1}=\sqrt{\frac{\sum_i\hat\epsilon_i^2}{(n-2)\sum_i(x_i-\bar x)^2}}$

standard-error inference

— Avocado
quelle

1

stats.stackexchange.com/questions/44838/…

— ocram

@ocram, danke, aber ich bin nicht ganz in der Lage mit Matrixsachen umzugehen, ich werde es versuchen.

— Avocado

1

@ocram, ich habe schon verstanden, wie es kommt. Aber noch eine Frage: In meinem Beitrag hat der Standardfehler , wo laut deiner Antwort nicht, warum?

(n - 2)

$(n-2)$

— Avocado

15

3. Kommentar oben: Ich habe schon verstanden, wie es kommt. Aber noch eine Frage: In meinem Beitrag hat der Standardfehler (n-2), wo nach Ihrer Antwort nicht, warum?

In meinem Beitrag wurde festgestellt, dass Der Nenner kann wie geschrieben werden: Somit ist

\hat{se} (\hat{b}) = \sqrt{\frac{n {\hat{σ}}^{2}}{n \sum x_{ich}^{2} - (\sum x_{ich})^{2}}} .

$\widehat{\text{se}}(\hat{b}) = \sqrt{\frac{n \hat{\sigma}^2}{n\sum x_i^2 - (\sum x_i)^2}}.$

n \sum_{ich} (x_{ich} - \bar{x})^{2}

$n \sum_i (x_i - \bar{x})^2$

\hat{se} (\hat{b}) = \sqrt{\frac{{\hat{σ}}^{2}}{\sum_{ich} (x_{ich} - \bar{x})^{2}}}

$\widehat{\text{se}}(\hat{b}) = \sqrt{\frac{\hat{\sigma}^2}{\sum_i (x_i - \bar{x})^2}}$

Mit dh dem mittleren quadratischen Fehler (MSE) in der ANOVA-Tabelle, erhalten wir Ihren Ausdruck für . Der Term erklärt den Verlust von 2 Freiheitsgraden bei der Schätzung des Abschnitts und der Steigung.

{\hat{σ}}^{2} = \frac{1}{n - 2} \sum_{ich} {\hat{ϵ}}_{ich}^{2}

$\hat{\sigma}^2 = \frac{1}{n-2} \sum_i \hat{\epsilon}_i^2$

\hat{se} (\hat{b})

$\widehat{\text{se}}(\hat{b})$

n - 2

$n-2$

— Ocram
quelle

1

Ich glaube ich bekomme alles andere zum letzten Teil erwartet. Können Sie Schritt für Schritt zeigen, warum ? Ich weiß auch, dass es mit den Freiheitsgraden zusammenhängt, aber ich verstehe die Mathematik nicht.

{\hat{σ}}^{2} = \frac{1}{n - 2} \sum_{i} {\hat{ϵ}}_{i}^{2}

$\hat{\sigma}^2 = \frac{1}{n-2} \sum_i \hat{\epsilon}_i^2$

— Mappi

2

Eine andere Art, über n-2 df nachzudenken, ist, dass wir 2 Mittelwerte verwenden, um den Steigungskoeffizienten (den Mittelwert von Y und X) zu schätzen.

df aus Wikipedia: "... Im Allgemeinen sind die Freiheitsgrade einer Schätzung eines Parameters gleich der Anzahl unabhängiger Scores, die in die Schätzung eingehen , abzüglich der Anzahl von Parametern, die als Zwischenschritte bei der Schätzung des Parameters selbst verwendet werden . "

— Eivind
quelle

2

Dies ist nicht wirklich eine Ableitung als solche, obwohl es eine Intuition ist. Einige Feinheiten hierzu finden Sie unter Verstehen von Freiheitsgraden.

— Silverfish