Regression ohne Abfangen: Ableiten von in kleinsten Quadraten (keine Matrizen)

In einer Einführung in das statistische Lernen (James et al.) In Abschnitt 3.7, Übung 5, heißt es, dass die Formel für Annahme einer linearen Regression ohne Achsenabschnitt lautet wobei und sind die unter OLS üblichen Schätzungen für einfache lineare Regression ( ). $\hat{\beta}_1$

{\hat{β}}_{1} = \frac{\sum_{i = 1}^{n} x_{i} y_{i}}{\sum_{i = 1}^{n} x_{i}^{2}},

$\hat{\beta}_1 = \dfrac{\displaystyle\sum\limits_{i=1}^{n}x_iy_i}{\displaystyle \sum\limits_{i=1}^{n}x_i^2}\text{,}$

{\hat{β}}_{0} = \bar{y} - {\hat{β}}_{1} \bar{x}

$\hat{\beta}_0 = \bar{y}-\hat{\beta}_1\bar{x}$

{\hat{β}}_{1} = \frac{S_{x y}}{S_{x x}}

$\hat{\beta}_1 = \dfrac{\displaystyle S_{xy}}{S_{xx}}$

S_{x y} = \sum_{i = 1}^{n} (x_{i} - \bar{x}) (y_{i} - \bar{y})

$S_{xy} = \displaystyle\sum\limits_{i=1}^{n}(x_i - \bar{x})(y_i - \bar{y})$

Dies ist nicht die eigentliche Übung ; Ich frage mich nur, wie ich die Gleichung ableiten soll. Wie leite ich es ab, ohne Matrixalgebra zu verwenden ?

Mein Versuch: Mit haben wir . $\hat{\beta}_0 = 0$ $\hat{\beta}_1 = \dfrac{\bar{y}}{\bar{x}} = \dfrac{S_{xy}}{S_{xx}}$

Nach einiger Algebra kann gezeigt werden, dass und . Von hier stecke ich fest. $\displaystyle S_{xy} = \sum\limits_{i=1}^{n}x_i^2 - n\bar{x}\bar{y}$ $\displaystyle S_{xx} = \sum\limits_{i=1}^{n}x_i^2 - n\bar{x}^2$

self-study least-squares

— Klarinettist
quelle

Die Formel ergibt sich unmittelbar aus der geometrischen Interpretation der kleinsten Quadrate unter Verwendung vonals "Matcher" für und Erkennen der Formel für als.

x / | | x | |

$x/||x||$

y

$y$

({\hat{β}}_{1}) x

$(\hat\beta_1)x$

(y \cdot (x / | | x | |)) x / | | x | |

$(y\cdot (x/||x||))x/||x||$

— whuber

@whuber: Anstatt zu schreiben würde ich schreibenWenn Ihnen das nicht auffällt, berücksichtigen Sie den typografischen Unterschied zwischen codiert als || x || || y || und codiert als \ | x \ | \ | y \ |.

x / | | x | |,

$x/||x||,$

x / ‖ x ‖ .

$x/\|x\|.$

| | x | | | | y | |,

$||x|| ||y||,$

‖ x ‖ ‖ y ‖,

$\|x\|\|y\|,$

$\qquad$

— Michael Hardy

Dies ergibt sich aus der Definition der gewöhnlichen kleinsten Quadrate. Wenn es keinen Achsenabschnitt gibt, minimiert man . Dies ist in Abhängigkeit von glatt , sodass alle Minima (oder Maxima) auftreten, wenn die Ableitung Null ist. wir in Bezug auf differenzieren, erhalten wir . Das Auflösen nach ergibt die Formel. $R(\beta) = \sum_{i=1}^{i=n} (y_i- \beta x_i)^2$ $\beta$ $\beta$ $-\sum_{i=1}^{i=n} 2(y_i- \beta x_i)x_i$ $\beta$

— meh
quelle