Analytische Lösung für lineare Regressionskoeffizientenschätzungen

9

Ich versuche, die Matrixnotation zu verstehen und mit Vektoren und Matrizen zu arbeiten.

Im Moment möchte ich verstehen, wie der Vektor der Koeffizientenschätzungen in der multiplen Regression berechnet wird. $\hat{\beta}$

Die Grundgleichung scheint zu sein

\frac{d}{d β} (y - X β)^{'} (y - X β) = 0 .

$\frac{d}{d\boldsymbol{\beta}} (\boldsymbol{y}-\boldsymbol{X\beta})'(\boldsymbol{y}-\boldsymbol{X\beta}) = 0 \>.$

Wie würde ich hier nach einem Vektor $\beta$ suchen?

Edit : Warte, ich stecke fest. Ich bin jetzt hier und weiß nicht, wie ich weitermachen soll:

$\frac{d}{d{\beta}} \left( \left(\begin{smallmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{smallmatrix}\right) - \left(\begin{smallmatrix} 1 & x_{11} & x_{12} & \dots & x_{1p} \\ 1 & x_{21} & x_{22} & \dots & x_{2p} \\ \vdots & & & & \vdots \\ 1 & x_{n1} & x_{n2} & \dots & x_{np} \\ \end{smallmatrix}\right) \left(\begin{smallmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{smallmatrix}\right) \right) ' \left( \left(\begin{smallmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{smallmatrix}\right) - \left(\begin{smallmatrix} 1 & x_{11} & x_{12} & \dots & x_{1p} \\ 1 & x_{21} & x_{22} & \dots & x_{2p} \\ \vdots & & & & \vdots \\ 1 & x_{n1} & x_{n2} & \dots & x_{np} \\ \end{smallmatrix}\right) \left(\begin{smallmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{smallmatrix}\right) \right)$

$\frac{d}{d{\beta}} \sum_{i=1}^n \left( y_i - \begin{pmatrix} 1 & x_{i1} & x_{i2} & \dots & x_{ip} \end{pmatrix} \begin{pmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{pmatrix} \right)^2$

Mit für alles, was der bin: $x_{i0} = 1$ $i$

$\frac{d}{d{\beta}} \sum_{i=1}^n \left( y_i - \sum_{k=0}^p x_{ik} \beta_k \right)^2$

Kannst du mich in die richtige Richtung weisen?

regression

— Alexander Engelhardt
quelle

@GaBorgulya, danke für die Bearbeitung, wusste nichts davon, smallmatrixversuchte also nicht zu bearbeiten, da die übliche Lösung, die Formel in mehrere Zeilen zu brechen, hier nicht funktioniert hätte.

— mpiktas

12

Wir haben

$\frac{d}{d\beta} (y - X \beta)' (y - X\beta) = -2 X' (y - X \beta)$ .

Dies kann gezeigt werden, indem die Gleichung explizit mit Komponenten geschrieben wird. Schreiben Sie beispielsweise anstelle von . Nehmen Sie dann Derivate in Bezug auf , , ..., und stapeln Sie alles, um die Antwort zu erhalten. Für eine schnelle und einfache Darstellung können Sie mit . $(\beta_{1}, \ldots, \beta_{p})'$ $\beta$ $\beta_{1}$ $\beta_{2}$ $\beta_{p}$ $p = 2$

Mit der Erfahrung entwickelt man allgemeine Regeln, von denen einige zB in diesem Dokument angegeben sind .

Bearbeiten, um den hinzugefügten Teil der Frage zu führen

Mit haben wir $p = 2$

$(y - X \beta)'(y - X \beta) = (y_1 - x_{11} \beta_1 - x_{12} \beta_2)^2 + (y_2 - x_{21}\beta_1 - x_{22} \beta_2)^2$

Die Ableitung in Bezug auf ist $\beta_1$

$-2x_{11}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{21}(y_2 - x_{21}\beta_1 - x_{22} \beta_2)$

Ähnlich ist die Ableitung in Bezug auf ist $\beta_2$

$-2x_{12}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{22}(y_2 - x_{21}\beta_1 - x_{22} \beta_2)$

Daher ist die Ableitung in Bezug ist $\beta = (\beta_1, \beta_2)'$

$\left( \begin{array}{c} -2x_{11}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{21}(y_2 - x_{21}\beta_1 - x_{22} \beta_2) \\ -2x_{12}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{22}(y_2 - x_{21}\beta_1 - x_{22} \beta_2) \end{array} \right)$

Beachten Sie nun, dass Sie den letzten Ausdruck als neu schreiben können

$-2\left( \begin{array}{cc} x_{11} & x_{21} \\ x_{12} & x_{22} \end{array} \right)\left( \begin{array}{c} y_{1} - x_{11}\beta_{1} - x_{12}\beta_2 \\ y_{2} - x_{21}\beta_{1} - x_{22}\beta_2 \end{array} \right) = -2 X' (y - X \beta)$

Natürlich wird bei einem größeren alles auf die gleiche Weise gemacht . $p$

— ocram
quelle

Genial, ich habe genau diese Art von PDF gesucht. Danke vielmals!

— Alexander Engelhardt

Oh, ich dachte, ich könnte es jetzt selbst tun, aber ich kann nicht. Können Sie mir sagen, ob meine Schritte richtig sind oder ob ich "einen anderen Weg" gehen sollte, um dies zu lösen?

— Alexander Engelhardt

@Alexx Hardt: Meine erste Gleichung in der Bearbeitung ist dieselbe wie Ihre allerletzte Gleichung in dem speziellen Fall, in dem p = 2. Sie können also meine Berechnungen für die Komponenten 3, 4, ..., p nachahmen.

— Ocram

Nochmals vielen Dank :) Ich denke, ich werde tatsächlich alle drei Vorschläge verwenden. Ich erstelle eine PDF-Datei, die die Matrix-Algebra für grundlegende Statistiken erklärt und zusammenfasst, weil ich sie irgendwie nie lernen wollte, als ich sie in meinen Klassen gelernt habe. Ich hoffe, es auf drei verschiedene Arten zu lösen, wird mir helfen, es besser zu verstehen.

— Alexander Engelhardt

Oh, aber das ist für p = 2 und n = 2, richtig? Ich werde es mit n = 3 aufschreiben, denke ich.

— Alexander Engelhardt

13

Sie können auch Formeln aus dem Matrix-Kochbuch verwenden . Wir haben

(y - - X. β)^{'} (y - - X. β) = y^{'} y - - β^{'} {X.}^{'} y - - y^{'} X. β + β^{'} {X.}^{'} X. β

$(y-X\beta)'(y-X\beta)=y'y-\beta'X'y-y'X\beta+\beta'X'X\beta$

Nehmen Sie nun Ableitungen von jedem Term. Vielleicht möchten Sie feststellen, dass . Die Ableitung des Terms in Bezug auf ist Null. Die verbleibende Laufzeit $\beta'X'y=y'X\beta$ $y'y$ $\beta$

β^{'} {X.}^{'} X. β - - 2 y^{'} X. β

$\beta'X'X\beta-2y'X\beta$

ist von Form der Funktion

f (x) = x^{'} EIN x + b^{'} x,

$f(x)=x'Ax+b'x,$

in Formel (88) im Buch auf Seite 11 mit , und . Die Ableitung ist in der Formel (89) angegeben: $x=\beta$ $A=X'X$ $b=-2X'y$

\frac{\partial f}{\partial x} = (EIN + {EIN}^{'}) x + b

$\frac{\partial f}{\partial x}=(A+A')x+b$

so

\frac{\partial}{\partial β} (y - - X. β)^{'} (y - - X. β) = ({X.}^{'} X. + ({X.}^{'} X.)^{'}) β - - 2 {X.}^{'} y

$\frac{\partial}{\partial \beta}(y-X\beta)'(y-X\beta)=(X'X+(X'X)')\beta-2X'y$

Da nun wir die gewünschte Lösung: $(X'X)'=X'X$

{X.}^{'} X. β = {X.}^{'} y

$X'X\beta=X'y$

— mpiktas
quelle

+1 mpiktas: Ihre Lösung ist genialer als meine und ich denke, sie sollte in komplexeren praktischen Situationen verwendet werden.

— Ocram

1

@ocram, danke. Ich würde es nicht genial nennen, es ist eine Standardanwendung bestehender Formeln. Sie müssen nur die Formeln kennen :)

— mpiktas

8

Hier ist eine Technik zum Minimieren der Summe der Quadrate in der Regression, die tatsächlich Anwendungen auf allgemeinere Einstellungen hat und die ich nützlich finde.

Versuchen wir, die Vektormatrixrechnung insgesamt zu vermeiden.

Angenommen, wir wobei , und . Der Einfachheit halber nehmen wir an, dass und .

E. = (y - - X. β)^{T.} (y - - X. β) = ‖ y - - X. β ‖_{2}^{2},

$\newcommand{\err}{\mathcal{E}}\newcommand{\my}{\mathbf{y}}\newcommand{\mX}{\mathbf{X}}\newcommand{\bhat}{\hat{\beta}}\newcommand{\reals}{\mathbb{R}} \err = (\my - \mX \beta)^T (\my - \mX \beta) = \|\my - \mX \beta\|_2^2 \> ,$

y \in R^{n}

$\my \in \reals^n$

X \in R^{n \times p}

$\mX \in \reals^{n\times p}$

β \in R^{p}

$\beta \in \reals^p$

p \leq n

$p \leq n$

r a n k (X) = p

$\mathrm{rank}(\mX) = p$

Für jedes wir $\bhat \in \reals^p$

E. = ‖ y - - X. \hat{β} + X. \hat{β} - - X. β ‖_{2}^{2} = ‖ y - - X. \hat{β} ‖_{2}^{2} + ‖ X. (β - - \hat{β}) ‖_{2}^{2} - - 2 (β - - \hat{β})^{T.} {X.}^{T.} (y - - X. \hat{β}) .

$\err = \|\my - \mX \bhat + \mX \bhat - \mX \beta\|_2^2 = \|\my - \mX \bhat\|_2^2 + \|\mX(\beta-\bhat)\|_2^2 - 2(\beta - \bhat)^T \mX^T (\my - \mX \bhat) \>.$

Wenn wir einen Vektor so auswählen (finden!) Können, dass der letzte Term auf der rechten Seite für jede Null ist , dann wären wir fertig, da dies bedeuten würde, dass . $\bhat$ $\beta$ $\min_\beta \err \geq \|\my - \mX \bhat\|_2^2$

Aber für alle genau dann, wenn und Diese letzte Gleichung ist genau dann wahr, wenn . So wird berechnet, indem minimiert . $(\beta - \bhat)^T \mX^T (\my - \mX \bhat) = 0$ $\beta$ $\mX^T (\my - \mX \bhat) = 0$ $\mX^T \mX \bhat = \mX^T \my$ $\err$ $\bhat = (\mX^T \mX)^{-1} \mX^T \my$

Während dies wie ein "Trick" erscheint, um Kalkül zu vermeiden, hat es tatsächlich eine breitere Anwendung und es gibt einige interessante Geometrien im Spiel.

Ein Beispiel, bei dem diese Technik eine Ableitung viel einfacher macht als jeder Matrix-Vektor-Kalkül-Ansatz, ist die Verallgemeinerung auf den Matrixfall. Lassen Sie , und . Angenommen, wir möchten über die gesamte Matrix von Parametern . Hier ist eine Kovarianzmatrix. $\newcommand{\mY}{\mathbf{Y}}\newcommand{\mB}{\mathbf{B}}\mY \in \reals^{n \times p}$ $\mX \in \reals^{n \times q}$ $\mB \in \reals^{q \times p}$

E. = t r ((Y. - - X. B.) Σ^{- - 1} (Y. - - X. B.)^{T.})

$\err = \mathrm{tr}( (\mY - \mX \mB) \Sigma^{-1} (\mY - \mX \mB)^T )$

B

$\mB$

Σ

$\Sigma$

Ein völlig analoger Ansatz zu dem stellt schnell fest, dass das Minimum von erreicht wird, indem Das heißt, in einer Regressionseinstellung, in der die Antwort ein Vektor mit Kovarianz und die Beobachtungen unabhängig sind, wird die OLS-Schätzung erreicht, indem separate lineare Regressionen für die Komponenten der Antwort durchgeführt werden. $\err$

\hat{B.} = ({X.}^{T.} X.)^{- - 1} {X.}^{T.} Y. .

$\hat{\mB} = (\mX^T \mX)^{-1} \mX^T \mY \>.$

Σ

$\Sigma$

p

$p$

— Kardinal
quelle

Glücklicherweise erlauben die Forumregeln das Hinzufügen von +1 zu jeder Antwort. Danke für die Ausbildung, Leute!

— DWin

@ DWin, wolltest du das unter den Kommentaren zur Frage posten?

— Kardinal

Ich denke ich könnte haben. Ich hatte die Frage nacheinander durchgesehen und dann alle Antworten (nachdem die Verarbeitung des MathML aufgehört hatte zu ruckeln) und fand jede der Antworten informativ. Ich habe gerade meinen Kommentar zu Ihrem veröffentlicht, weil ich dort aufgehört habe zu lesen.

— DWin

1

@ DWin, ja, das Rendering ist ein bisschen funky. Ich dachte, Sie hätten den Kommentar möglicherweise für einen anderen Beitrag vorgesehen, da dieser keine Stimmen (nach oben oder unten) hat und der Kommentar daher fehl am Platz zu sein schien. Prost.

— Kardinal

1

@ Kardinal +1, nützlicher Trick. Diese Frage erwies sich als ziemlich gute Referenz.

— mpiktas

6

Eine Möglichkeit, die Ihnen beim Verständnis helfen kann, besteht darin, keine Matrixalgebra zu verwenden und in Bezug auf jede Komponente zu differenzieren und die Ergebnisse dann in einem Spaltenvektor zu "speichern". Also haben wir:

\frac{\partial}{\partial β_{k}} \sum_{ich = 1}^{N.} {({Y.}_{ich} - - \sum_{j = 1}^{p} {X.}_{ich j} β_{j})}^{2} = 0

$\frac{\partial}{\partial \beta_{k}}\sum_{i=1}^{N}\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)^{2}=0$

Jetzt haben Sie dieser Gleichungen, eine für jede Beta. Dies ist eine einfache Anwendung der Kettenregel: $p$

\sum_{ich = 1}^{N.} 2 {({Y.}_{ich} - - \sum_{j = 1}^{p} {X.}_{ich j} β_{j})}^{1} (\frac{\partial}{\partial β_{k}} [{Y.}_{ich} - - \sum_{j = 1}^{p} {X.}_{ich j} β_{j}]]) = 0

$\sum_{i=1}^{N}2\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)^{1}\left(\frac{\partial}{\partial \beta_{k}}\left[Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right]\right)=0$

- - 2 \sum_{ich = 1}^{N.} {X.}_{ich k} ({Y.}_{ich} - - \sum_{j = 1}^{p} {X.}_{ich j} β_{j}) = 0

$-2\sum_{i=1}^{N}X_{ik}\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)=0$

Jetzt können wir die Summe in der Klammer als neu schreiben So erhalten Sie: $\sum_{j=1}^{p}X_{ij}\beta_{j}=\bf{x}_{i}^{T}\boldsymbol{\beta}$

\sum_{ich = 1}^{N.} {X.}_{ich k} {Y.}_{ich} - - \sum_{ich = 1}^{N.} {X.}_{ich k} x_{ich}^{T.} β = 0

$\sum_{i=1}^{N}X_{ik}Y_{i}-\sum_{i=1}^{N}X_{ik}\bf{x}_{i}^{T}\boldsymbol{\beta}=0$

Jetzt haben wir dieser Gleichungen und werden sie in einem Spaltenvektor "stapeln". Beachten Sie, dass der einzige Term ist, der von abhängt. Wir können diesen also in den Vektor stapeln und erhalten: $p$ $X_{ik}$ $k$ $\bf{x}_{i}$

\sum_{ich = 1}^{N.} x_{ich} {Y.}_{ich} = \sum_{ich = 1}^{N.} x_{ich} x_{ich}^{T.} β

$\sum_{i=1}^{N}\bf{x}_{i}\rm{Y}_{i}=\sum_{i=1}^{N}\bf{x}_{i}\bf{x}_{i}^{T}\boldsymbol{\beta}$

Jetzt können wir die Beta außerhalb der Summe nehmen (müssen aber auf RHS der Summe bleiben) und dann die Umkehrung nehmen:

{(\sum_{ich = 1}^{N.} x_{ich} x_{ich}^{T.})}^{- - 1} \sum_{ich = 1}^{N.} x_{ich} {Y.}_{ich} = β

$\left(\sum_{i=1}^{N}\bf{x}_{i}\bf{x}_{i}^{T}\right)^{-1}\sum_{i=1}^{N}\bf{x}_{i}\rm{Y}_{i}=\boldsymbol{\beta}$

— Wahrscheinlichkeitslogik
quelle