Anwenden der Gratregression für ein unterbestimmtes Gleichungssystem?

Wenn , kann das Problem der kleinsten Quadrate, das dem Wert von eine sphärische Beschränkung auferlegt , als für ein überbestimmtes System. \ | \ cdot \ | _2 ist die euklidische Norm eines Vektors.$y = X\beta + e$$\delta$$\beta$

$$\begin{equation} \begin{array} &\operatorname{min}\ \| y - X\beta \|^2_2 \\ \operatorname{s.t.}\ \ \|\beta\|^2_2 \le \delta^2 \end{array} \end{equation}$$ $\|\cdot\|_2$

Die entsprechende Lösung für $\beta$ ist gegeben durch

$$\begin{equation} \hat{\beta} = \left(X^TX + \lambda I\right)^{-1}X^T y \ , \end{equation}$$ Dies kann aus der Methode der Lagrange-Multiplikatoren abgeleitet werden ( $\lambda$ ist der Multiplikator): $$\begin{equation} \mathcal{L}(\beta,\lambda) = \|y-X\beta\|^2_2 + \lambda(\|\beta\|^2_2 - \delta^2) \end{equation}$$

Ich verstehe, dass es eine Eigenschaft gibt, die

$$\begin{equation} \left(X^TX + \lambda I\right)^{-1}X^T = X^T\left(XX^T + \lambda I\right)^{-1} \ . \end{equation}$$ Die rechte Seite ähnelt der Pseudo-Inversen der Regressormatrix $X$ im unbestimmten Fall (mit dem hinzugefügten Regularisierungsparameter $\lambda$ ). Bedeutet dies, dass derselbe Ausdruck verwendet werden kann, um $\beta$ für den unbestimmten Fall zu approximieren ? Gibt es im unbestimmten Fall eine separate Ableitung für den entsprechenden Ausdruck, da die sphärische Beschränkungsbeschränkung mit der Zielfunktion redundant ist (Mindestnorm von $\beta$ ):

$$\begin{equation} \begin{array} &\operatorname{min.}\ \| \beta \|_2\\ \operatorname{s.t.}\ X\beta = y \ . \end{array} \end{equation}$$

Beginnend mit der Formulierung des Gratregressionsproblems als

$\min \| X\beta -y \|_{2}^{2} + \lambda \| x \|_{2}^{2}$

Sie können das Problem als schreiben

$\min \| A\beta - b \|_{2}^{2}$

wo

$A=\left[ \begin{array}{c} X \\ \sqrt{\lambda} I \end{array} \right]$

und

$b=\left[ \begin{array}{c} y \\ 0 \end{array} \right].$

Die Matrix hat aufgrund des Teils vollen Spaltenrang . Somit ist das Problem der kleinsten Quadrate eine einzigartige Lösung$A$$\sqrt{\lambda}I$

$\hat{\beta}=(A^{T}A)^{-1}A^{T}b$

Wenn wir dies in und ausschreiben und viele Nullen vereinfachen, erhalten wir$X$$y$

$\hat{\beta}=(X^{T}X+\lambda I)^{-1}X^{T}y$

Nichts in dieser Ableitung hängt davon ab, ob mehr Zeilen oder Spalten hat oder ob den vollen Rang hat. Diese Formel ist somit auf den unbestimmten Fall anwendbar. $X$$X$

Es ist eine algebraische Tatsache, dass für ,$\lambda>0$

$(X^{T}X+\lambda I)^{-1}X^{T}=X^{T}(XX^{T}+\lambda I)^{-1}$

Somit haben wir auch die Möglichkeit zu verwenden

$\hat{\beta}=X^{T}(XX^{T}+\lambda I)^{-1}y$ .

So beantworten Sie Ihre spezifischen Fragen:

1. Ja, beide Formeln funktionieren sowohl für den unbestimmten Fall als auch für den überbestimmten Fall. Sie funktionieren auch, wenn kleiner als das Minimum der Anzahl der Zeilen und Spalten von . Die zweite Version kann für unbestimmte Probleme effizienter sein, da in diesem Fall kleiner als ist. X X X T X T$\mbox{rank}(X)$$X$$XX^{T}$$X^{T}X$

2. Mir ist keine Ableitung der alternativen Version der Formel bekannt, die mit einem anderen Problem mit gedämpften kleinsten Quadraten beginnt und die normalen Gleichungen verwendet. In jedem Fall können Sie es mit etwas Algebra auf einfache Weise ableiten.

Es ist möglich, dass Sie in der Form an das Problem der Gratregression denken

$\min \| \beta \|_{2}^{2}$

vorbehaltlich

$\| X\beta-y \|_{2}^{2} \leq \epsilon.$

Diese Version des Ridge-Regressionsproblems führt jedoch einfach zu demselben Problem mit gedämpften kleinsten Quadraten .$\min \| X\beta -y \|_{2}^{2} + \lambda \| \beta \|_{2}^{2}$