Was sind die Schritte, um die gewichtete Quadratsumme in eine Matrixform umzuwandeln?

Ich bin neu in der Konvertierung von Formeln in Matrixform. Dies ist jedoch für einen effizienten Code für maschinelles Lernen erforderlich. Also möchte ich den "richtigen" Weg verstehen, nicht das Cowboy-Zeug, das ich mache.

Okay, jetzt geht es los. Ich versuche, die gewichtete Quadratsumme aus der folgenden Form in eine Matrixform umzuwandeln. Ich sehe die Matrixform oft als äquivalent zu der folgenden, und es wird keine Erklärung gegeben, wie sie abgeleitet wird.

J (w) = \sum_{i = 1}^{m} u_{i} (w^{T} x_{i} - y_{i})^{2}

$J(w)=\sum_{i=1}^m u_i (w^T x_i - y_i)^2$

Dabei ist das Gewicht für jeden Stichprobenfehler . Außerdem ist , , , , . ist der vorhergesagte Wert, das Ergebnis der Multiplikation eines Gewichtsvektors mit einem Merkmalsvektor. $u_i$ $_i$ $x_i \in \mathbb{R^n}$ $w \in \mathbb{R^n}$ $y \in \mathbb{R}$ $u_i \in \mathbb{R}$ $i=1,...,m$ $w^T x_i$

Folgendes denke ich und werde kreativ. Fühlen Sie sich also frei, bis zum Ende zu springen, wenn ich eine Tangente mache.

Sei ein Spaltenvektor von Funktionen, der den nicht quadratischen Fehler darstellt. Wir können über as darstellen $r$ $(w^T x_i - y_i)^2$ $i=1,...,m$

\begin{matrix} (1) & r^{2} = [\begin{matrix} r_{1} & r_{2} & \dots & r_{m} \end{matrix}] [\begin{matrix} r_{1} \\ r_{2} \\ ⋮ \\ r_{m} \end{matrix}] \end{matrix}

$r^2 = \begin{bmatrix}r_1 & r_2 & \cdots & r_m\end{bmatrix} \begin{bmatrix} r_1 \\ r_2 \\ \vdots \\ r_m \\ \end{bmatrix} \tag{1}\label{1}$

Die Ergebnisse des Vektors multipliziert mit dem Vektor sind eine Matrix (Skalar). $1 \times m$ $m \times 1$ $1 \times 1$

Sei ein Vektor von Gewichten, der jeden Stichprobenfehler wiegt. Da wir die quadratischen Fehler abwägen müssen, müssen wir in die Formel bevor wir den Skalar erhalten. Da wir wollen, dass das erste als Vektor bleibt , definieren wir als eine Diagonalmatrix, wobei die diagonalen Terme von . Wir haben nun: $u$ $u$ $\ref{1}$ $r$ $1 \times m$ $U$ $u$

\begin{matrix} (2) & J (w) = [\begin{matrix} r_{1} & r_{2} & \dots & r_{m} \end{matrix}] [\begin{matrix} u_{1} & 0 & \dots & 0 \\ 0 & u_{2} & \dots & 0 \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 0 & 0 & \dots & u_{m} \end{matrix}] [\begin{matrix} r_{1} \\ r_{2} \\ ⋮ \\ r_{m} \end{matrix}] \end{matrix}

$J(w) = \begin{bmatrix}r_1 & r_2 & \cdots & r_m\end{bmatrix} \begin{bmatrix} u_1 & 0 & \cdots & 0\\ 0 & u_2 & \cdots & 0\\ \vdots & \vdots & \ddots & \vdots\\ 0 & 0 & \cdots & u_m\\ \end{bmatrix} \begin{bmatrix} r_1 \\ r_2 \\ \vdots \\ r_m \\ \end{bmatrix} \tag{2}\label{2}$

Wir können dies vereinfachen, um

\begin{matrix} (3) & J (w) = r^{T} U r \end{matrix}

$J(w) = r^T U r \tag{3}\label{3}$

Jetzt erweitern wir . Wir hatten multipliziert mit , was uns gab, wobei X jetzt eine Matrix und ein Spaltenvektor ist. Sei y der Spaltenvektor, der die Bezeichnungen . Jetzt ist . Wir setzen dies in die Formel und geben uns die endgültige gewichtete Summe der Quadrate in Matrixform: $r$ $x_i \in \mathbb{R^n}$ $w \in \mathbb{R^n}$ $Xw$ $m \times n$ $w$ $n \times 1$ $m \times 1$ $y = 1,...,m$ $r = (Xw - y)$ $\ref{3}$

\begin{matrix} (4) & J (w) = (X w - y)^{T} U (X w - y) \end{matrix}

$J(w) = (Xw - y)^T U(Xw-y) \tag{4}\label{4}$

Ist das zunächst sinnvoll? Zweitens, und was am wichtigsten ist, ist das eigentlich so, wie Sie es tun sollen?

Vielen Dank

regression machine-learning linear-algebra

— Vega
quelle

Dies: math.stackexchange.com/questions/198257/… könnte Ihnen helfen!

— kjetil b halvorsen

+1: Komisch, dass du denkst, du machst 'Cowboy-Zeug'. Dies ist genau der richtige Weg, obwohl ich es niemals so umfassend aufschreiben würde (so gute Arbeit!). Dies ist ein Kapitel eines Buches meines Ökonometrie-1-Kurses während meines Ökonometrie-Studiums. Seite 120 erklärt, wie Sie eine (einfache) Funktion in die Matrixnotation umschreiben, und Seite 121 ist Ihr Beispiel ohne die Gewichte (allerdings etwas andere Notation). Wenn ich mich richtig erinnere, behandelt ein anderes Kapitel auch WLS-Schätzer (was im Grunde Ihr Ausdruck ist).

— Marcel10

Sieht gut für mich aus.

— Matthew Gunn

Ich werde eine Antwort auf diese Frage wagen: Alles, was Sie präsentiert haben, ist korrekt.

Was Sie im Grunde genommen abgeleitet haben, ist das Gauß-Markov-Theorem: Der Schätzer für gewichtete kleinste Quadrate ist der beste lineare unverzerrte Schätzer für gewichtete Daten. Dieser Schätzer minimiert die gewichtete Quadratsumme (Ihre erste Anzeige) und ist gegeben durch: . Hier ist die Entwurfsmatrix, wobei die erste Spalte auf der Vektor von Einsen (dies ist der Intercept-Term). $\hat{\beta}_{WLS} = \left( \mathbf{X}^T\mathbf{W}\mathbf{X} \right) \left( \mathbf{X}^T \mathbf{W} Y \right)$ $\mathbf{X}$ $\mathbf{1}$ $n \times 1$

Dieses Ergebnis gilt für eine beliebige Kovarianzmatrix. Gewichtete unabhängige Daten werden jedoch mit einem Gewichtsvektor entlang der Diagonale der Gewichtsmatrix dargestellt. (Ihre Notation hat als Regressionskoeffizienten und als Gewicht. Um Verwirrung zu vermeiden, die Entwurfsmatrix und . $w$ $u$ $\mathbf{X} = [x], \mathbf{W} = \text{diag}(u),$ $\beta=[w]$

Der Beweis des Gaußschen Markov-Theorems ist widersprüchlich. Siehe hier . Das bedeutet, dass wir einen solchen Schätzer nicht direkt aus der Verlustfunktion analytisch ableiten. Möglicherweise haben Sie einen solchen Ansatz gesehen, bei dem lineare und logistische Regressionsschätzungsgleichungen abgeleitet wurden.

— AdamO
quelle