Wie löst NumPy kleinste Quadrate für unterbestimmte Systeme?

Nehmen wir an, wir haben X (2, 5)
und Y (2,)

Das funktioniert: np.linalg.lstsq(X, y)

Wir erwarten, dass dies nur dann funktioniert, wenn X die Form (N, 5) hat, wobei N> = 5 ist. Aber warum und wie?

Wir bekommen wie erwartet 5 Gewichte zurück, aber wie wird dieses Problem gelöst?

Ist es nicht so, als hätten wir 2 Gleichungen und 5 Unbekannte?
Wie könnte Numpy das lösen?
Es muss so etwas wie eine Interpolation sein, um künstlichere Gleichungen zu erstellen? ..

Nach meinem Verständnis basiert numpy.linalg.lstsq auf der LAPACK- Routine dgelsd .

Das Problem ist zu lösen:

$$\text{minimize} (\text{over} \; \mathbf{x}) \quad \| A\mathbf{x} - \mathbf{b} \|_2$$

Dies hat natürlich keine eindeutige Lösung für eine Matrix A, deren Rang kleiner als die Länge des Vektors $\mathbf{b}$ . dgelsdBietet im Falle eines unbestimmten Systems eine Lösung $\mathbf{z}$ , die Folgendes beinhaltet :

• $A\mathbf{z} = \mathbf{b}$
• $\| \mathbf{z} \|_2 \leq \|\mathbf{x} \|_2$ für alle$\mathbf{x}$ , die$A\mathbf{x} = \mathbf{b}$ erfüllen. (dh$\mathbf{z}$ ist die minimale Normlösung für das unbestimmte System.

Beispiel, wenn System ist $x + y = 1$ , gibt numpy.linalg.lstsq$x = .5, y = .5$ .

Wie funktioniert dgelsd?

Die Routine dgelsdberechnet die Singularwertzerlegung (SVD) von A.

Ich skizziere nur die Idee hinter der Verwendung einer SVD zur Lösung eines linearen Systems. Die Singulärwertzerlegung ist eine Faktorisierung $U \Sigma V' = A$ wobei$U$ und$V$ orthogonale Matrizen sind und$\Sigma$ eine Diagonalmatrix ist, bei der die Diagonaleinträge als Singularwerte bezeichnet werden.

Der effektive Rang der Matrix $A$ ist die Anzahl der singulären Werte, die effektiv nicht Null sind (dh sich ausreichend von Null in Bezug auf die Maschinengenauigkeit usw. unterscheiden). Sei $S$ eine Diagonalmatrix der von Null verschiedenen Singularwerte. Die SVD ist also:

$$A = U \begin{bmatrix} S & 0 \\ 0 & 0 \end{bmatrix} V'$$

Die Pseudoinverse von $A$ ist gegeben durch:

$$A^\dagger = V \begin{bmatrix} S^{-1} & 0 \\ 0 & 0 \end{bmatrix} U'$$

Betrachten Sie die Lösung $\mathbf{x} = A^\dagger \mathbf{b}$ . Dann:

$$\begin{align*} A\mathbf{x} - \mathbf{b} &= U \begin{bmatrix} S & 0 \\ 0 & 0 \end{bmatrix} V' V \begin{bmatrix} S^{-1} & 0 \\ 0 & 0 \end{bmatrix} U' \mathbf{b} - \mathbf{b} \\ &= U \begin{bmatrix} I & 0 \\ 0 & 0 \end{bmatrix} U' \mathbf{b} - \mathbf{b}\\ \end{align*}$$

Grundsätzlich gibt es hier zwei Fälle:

1. Die Anzahl der singulären Werte ungleich Null (dh die Größe der Matrix $I$ ) ist kleiner als die Länge von $\mathbf{b}$ . Die Lösung hier wird nicht genau sein; Wir werden das lineare System im Sinne der kleinsten Quadrate lösen.
2. $A\mathbf{x} - \mathbf{b} = \mathbf{0}$

Dieser letzte Teil ist etwas knifflig. Sie müssen die Matrixdimensionen verfolgen und verwenden, dass $U$ eine orthogonale Matrix ist.

Äquivalenz von Pseudo-Inverse

Wenn $A$ linear unabhängige Reihen hat (z. B. wir haben eine Fettmatrix), dann gilt:

$$A^\dagger = A'\left(AA' \right)^{-1}$$

Für ein unbestimmtes System können Sie zeigen, dass das Pseudo-Inverse die minimale Normlösung ergibt.

Wenn $A$ linear unabhängige Spalten hat (z. B. haben wir eine dünne Matrix), dann gilt:

$$A^\dagger = \left(A'A \right)^{-1}A'$$