Die Grenze des Ridge-Regressionsschätzers für "Einheitsvarianz", wenn

Betrachten Sie die Ridge-Regression mit einer zusätzlichen Einschränkung, die voraussetzt, dass eine Einheitssumme von Quadraten hat (entsprechend eine Einheitsvarianz). Bei Bedarf kann man davon ausgehen, dass eine Einheitssumme von Quadraten hat: $\hat{\mathbf y}$ $\mathbf y$

{\hat{β}}_{λ}^{*} = \arg min {‖ y - X β ‖^{2} + λ ‖ β ‖^{2}} s.t. ‖ X β ‖^{2} = 1.

$\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf X \boldsymbol\beta\|^2=1.$

Was ist die Grenze von $\hat{\boldsymbol\beta}_\lambda^*$ wenn $\lambda\to\infty$ ?

Hier sind einige Aussagen, von denen ich glaube, dass sie wahr sind:

Wenn $\lambda=0$ , gibt es eine ordentliche explizite Lösung: nimm OLS Estimator $\hat{\boldsymbol\beta}_0=(\mathbf X^\top \mathbf X)^{-1}\mathbf X^\top \mathbf y$ und normalisiere es, um die Bedingung zu erfüllen (man kann dies durch Hinzufügen eines Lagrange-Multiplikators und Differenzieren sehen):
${\hat{β}}_{0}^{*} = {\hat{β}}_{0} / ‖ X {\hat{β}}_{0} ‖ .$ $\hat{\boldsymbol\beta}_0^* = \hat{\boldsymbol\beta}_0 \big/ \|\mathbf X\hat{\boldsymbol\beta}_0\|.$
Im Allgemeinen lautet die Lösung
${\hat{β}}_{λ}^{*} = ((1 + μ) X^{⊤} X + λ I)^{- 1} X^{⊤} y with μ needed to satisfy the constraint .$ $\hat{\boldsymbol\beta}_\lambda^*=\big((1+\mu)\mathbf X^\top \mathbf X + \lambda \mathbf I\big)^{-1}\mathbf X^\top \mathbf y\:\:\text{with $\mu$ needed to satisfy the constraint}.$ Ich sehe keine geschlossene Lösung, wenn $\lambda >0$ . Es scheint, dass die Lösung dem üblichen RR-Schätzer mit einigem entspricht, das $\lambda^*$ normalisiert wird, um die Bedingung zu erfüllen, aber ich sehe keine geschlossene Formel für $\lambda^*$ .
Bei $\lambda\to \infty$ hat der übliche RR-Schätzer konvergiert
${\hat{β}}_{λ} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y$ $\hat{\boldsymbol\beta}_\lambda=(\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1}\mathbf X^\top \mathbf y$ offensichtlich gegen Null, aber seine Richtung $\hat{\boldsymbol\beta}_\lambda \big/ \|\hat{\boldsymbol\beta}_\lambda\|$ konvergiert in die Richtung von $\mathbf X^\top \mathbf y$ , auch bekannt als die erste Komponente der kleinsten Quadrate (PLS).

Die Aussagen (2) und (3) lassen mich zusammen denken, dass vielleicht $\hat{\boldsymbol\beta}_\lambda^*$ auch gegen das entsprechend normalisierte konvergiert $\mathbf X^\top \mathbf y$ , aber ich bin mir nicht sicher, ob dies so ist ist richtig und ich habe es nicht geschafft, mich so oder so zu überzeugen.

— Amöbe sagt Reinstate Monica
quelle

Antworten:

Eine geometrische Interpretation

Der in der Frage beschriebene Schätzer ist das Lagrange-Multiplikatoräquivalent des folgenden Optimierungsproblems:

minimize f (β) subject to g (β) \leq t and h (β) = 1

$\text{minimize $f(\beta)$ subject to $g(\beta) \leq t$ and $h(\beta) = 1$ }$

\begin{aligned} f (β) & = ‖ y - X β ‖^{2} \\ g (β) & = ‖ β ‖^{2} \\ h (β) & = ‖ X β ‖^{2} \end{aligned}

$\begin{align} f(\beta) &= \lVert y-X\beta \lVert^2 \\ g(\beta) &= \lVert \beta \lVert^2\\ h(\beta) &= \lVert X\beta \lVert^2 \end{align}$

Dies kann geometrisch als Auffinden des kleinsten Ellipsoids , das den Schnittpunkt der Kugel und des Ellipsoids berührt $f(\beta)=\text{RSS }$ $g(\beta) = t$ $h(\beta)=1$

Vergleich mit der Standardansicht der Gratregression

In Bezug auf eine geometrische Ansicht ändert dies die alte Ansicht (für die Standardkammregression) des Punktes, an dem sich ein Sphäroid (Fehler) und eine Kugel ( ) berühren $\|\beta\|^2=t$ . In einer neuen Ansicht suchen wir nach dem Punkt, an dem der Sphäroid (Fehler) eine Kurve berührt (Beta-Norm durch ) $\|X\beta\|^2=1$ . Die eine Kugel (blau im linken Bild) verwandelt sich aufgrund des Schnittpunkts mit der Bedingung in eine Figur mit einer niedrigeren Dimension . $\|X\beta\|=1$

Im zweidimensionalen Fall ist dies einfach zu sehen.

Wenn wir stimmen die Parameter dann ändern wir die relative Länge der blau / roten Kugeln oder die relativen Größen von und (In der Theorie der Lagrange - Multiplikatoren gibt es wahrscheinlich eine saubere Art und Weise zu formell und genau beschreiben, dass dies bedeutet, dass für jedes als Funktion von oder umgekehrt eine monotone Funktion ist. Aber ich stelle mir vor, dass Sie intuitiv sehen können, dass die Summe der quadratischen Residuen nur zunimmt, wenn wir verringern .) $t$ $f(\beta)$ $g(\beta)$ $t$ $\lambda$ $||\beta||$

Die Lösung für lautet, wie Sie in einer Zeile zwischen 0 und argumentiert haben. $\beta_\lambda$ $\lambda=0$ $\beta_{LS}$

Die Lösung für ist (in der Tat, wie Sie kommentiert haben) in den Ladevorgängen der ersten Hauptkomponente. Dies ist der Punkt, an dem für am kleinsten ist . ist der Punkt, an dem der Kreis die Ellipse in einem einzelnen Punkt berührt . $\beta_\lambda$ $\lambda \to \infty$ $\lVert \beta \rVert^2$ $\lVert \beta X \rVert^2 = 1$ $\lVert \beta \rVert^2=t$ $|X\beta|=1$

In dieser 2D-Ansicht sind die Kanten des Schnittpunkts von Kugel und Sphäroid Punkte. In mehreren Dimensionen sind dies Kurven $\lVert \beta \rVert^2 =t$ $\lVert \beta X \rVert^2 = 1$

(Ich dachte zuerst , dass diese Kurven Ellipsen sein würde , aber sie sind komplizierter. Sie das Ellipsoid vorstellen konnte durch die Kugel geschnitten wird wie einige Art ellipsoider Kegelstumpf, aber mit Kanten, die keine einfachen Ellipsen sind) $\lVert X \beta \rVert^2 = 1$ $\lVert \beta \rVert^2 \leq t$

Bezüglich des Limits $\lambda \to \infty$

Zuerst (vorherige Änderungen) schrieb ich, dass es einige einschränkende über denen alle Lösungen gleich sind (und sie befinden sich im Punkt ). Dies ist jedoch nicht der Fall $\lambda_{lim}$ $\beta^*_\infty$

Betrachten Sie die Optimierung als LARS-Algorithmus oder Gradientenabstieg. Wenn es für einen Punkt eine Richtung gibt, in die wir das so ändern können, dass der Strafausdruck weniger zunimmt als der SSR-Ausdruck abnimmt, sind Sie nicht in einem Minimum . $\beta$ $\beta$ $|\beta|^2$ $|y-X\beta|^2$

Bei einer normalen Gratregression haben Sie eine Nullsteigung (in alle Richtungen) für im Punkt . Für alle endlichen die Lösung also nicht (da ein infinitesimaler Schritt durchgeführt werden kann, um die Summe der quadratischen Residuen zu reduzieren, ohne die Strafe zu erhöhen). $|\beta|^2$ $\beta=0$ $\lambda$ $\beta = 0$
Für LASSO ist dies nicht dasselbe, da die Strafe (also nicht quadratisch mit einer Steigung von Null). Aus diesem Grund wird LASSO einen Grenzwert über dem alle Lösungen Null sind, da der Strafwert (multipliziert mit ) mehr zunimmt, als die verbleibende Quadratsumme abnimmt. $\lvert \beta \rvert_1$ $\lambda_{lim}$ $\lambda$
Für den eingeschränkten Kamm erhalten Sie das Gleiche wie für die reguläre Kammregression. Wenn Sie das beginnend mit ändern, verläuft diese Änderung senkrecht zu (das verläuft senkrecht zur Oberfläche der Ellipse ). und kann durch einen infinitesimalen Schritt geändert werden, ohne den Strafausdruck zu ändern, aber die Summe der quadratischen Residuen zu verringern. Somit kann für jedes endliche der Punkt nicht die Lösung sein. $\beta$ $\beta^*_\infty$ $\beta$ $\beta^*_\infty$ $|X\beta|=1$ $\beta$ $\lambda$ $\beta^*_\infty$

Weitere Hinweise zum Limit $\lambda \to \infty$

Die übliche Kammregressionsgrenze für bis unendlich entspricht einem anderen Punkt in der eingeschränkten Kammregression. Diese 'alte' Grenze entspricht dem Punkt, an dem gleich -1 ist. Dann die Ableitung der Lagrange-Funktion in das normalisierte Problem $\lambda$ $\mu$

$2 (1 + μ) X^{T} X β + 2 X^{T} y + 2 λ β$ $2 (1+\mu) X^{T}X \beta + 2 X^T y + 2 \lambda \beta$ entspricht einer Lösung für die Ableitung der Lagrange-Funktion im Standardproblem

$2 X^{T} X β^{'} + 2 X^{T} y + 2 \frac{λ}{(1 + μ)} β^{'} with β^{'} = (1 + μ) β$ $2 X^{T}X \beta^\prime + 2 X^T y + 2 \frac{\lambda}{(1+\mu)} \beta^\prime \qquad \text{with $\beta^\prime = (1+\mu)\beta$}$

Geschrieben von StackExchangeStrike

— Sextus Empiricus
quelle

+1. Vielen Dank, das ist super hilfreich! Ich werde etwas Zeit brauchen, um darüber nachzudenken.

— Amöbe sagt Reinstate Monica

Es ist erwähnenswert, dass die roten und schwarzen Ellipsoide die gleiche Form haben: Deshalb liegt der Punkt, an dem sie sich berühren, auf der Linie, die ihre Zentren verbindet. Schöner grafischer Beweis für Punkt 1 in meiner Frage.

— Amöbe sagt Reinstate Monica

Ich versuche zu verstehen, wo sich auf Ihrer Zeichnung die Beta befindet, die einem Kammschätzer mit unendlichem Lambda entspricht, normalisiert, um auf der schwarzen Ellipse zu liegen. Ich denke, es liegt irgendwo zwischen und (unter Verwendung meiner Notation) - zwei Punkte, die in Ihrer Zeichnung mit schwarzen, offenen Kreisen markiert sind. Wenn wir also eine Ridge-Regression durchführen und die Lösung normalisieren und Lambda von 0 bis unendlich erhöhen, führt uns dies wahrscheinlich auf demselben Bogen, aber nicht auf dem gesamten Weg bis PC1. Wenn Sie stattdessen die Einschränkung explizit eingeben, werden die Lösungen bis zu PC1 ausgeführt.

β_{0}^{*}

$\beta_0^*$

β_{\infty}^{*}

$\beta_\infty^*$

‖ X β ‖ = 1

$\|X\beta\|=1$

— Amöbe sagt Reinstate Monica

+5 (Ich habe ein Kopfgeld angefangen, das ich gerne für Ihre Antwort vergeben werde). Ich habe auch meine eigene Antwort gepostet, weil ich einige algebraische Ableitungen gemacht habe und es zu viel war, um die Frage zu ergänzen. Ich bin von Ihrer Schlussfolgerung nicht überzeugt, dass es irgendeinen endlichen nach dem sich die Lösung nicht mehr ändern wird und von PC1 gegeben wird. Ich sehe es nicht algebraisch und verstehe Ihr Argument dafür, warum es existieren sollte, nicht ganz. Versuchen wir es herauszufinden.

λ_{lim}

$\lambda_\text{lim}$

— Amöbe sagt Reinstate Monica

@amoeba, du hattest recht mit dem endlichen nicht existiert. Ich habe zu viel intuitiv argumentiert und bin schnell von einer bestimmten Bedingung für die reguläre Kammregression zu der eingeschränkten Kammregression übergegangen. Regulärer RR hat eine Nullsteigung (in alle Richtungen) für im Punkt . Ich dachte, dass (seit ) Sie dies nicht mit der eingeschränkten Regression bekommen. Da jedoch auf das Ellipsoid Sie können in alle Richtungen 'bewegen' .

λ_{lim}

$\lambda_{\lim}$

| β |^{2}

$|\beta|^2$

β = 0

$\beta = 0$

β_{\infty}^{*} \neq 0

$\beta^*_\infty \neq 0$

β

$\beta$

| X β | = 1

$|X\beta| =1$

β

$\beta$

— Sextus Empiricus

Dies ist ein algebraisches Gegenstück zu @ Martijns schöner geometrischer Antwort.

Zuallererst die Grenze von wenn sehr ist einfach zu erhalten: im Grenzfall wird der erste Term in der Verlustfunktion vernachlässigbar und kann daher vernachlässigt werden. Das Optimierungsproblem wird ist die erste Hauptkomponente von

{\hat{β}}_{λ}^{*} = \arg min {‖ y - X β ‖^{2} + λ ‖ β ‖^{2}} s.t. ‖ X β ‖^{2} = 1

$\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf X \boldsymbol\beta\|^2=1$

λ \to \infty

$\lambda\to\infty$

lim_{λ \to \infty} {\hat{β}}_{λ}^{*} = {\hat{β}}_{\infty}^{*} = \underset{‖ X β ‖^{2} = 1}{a r g m i n} ‖ β ‖^{2} \sim \underset{‖ β ‖^{2} = 1}{a r g m a x} ‖ X β ‖^{2},

$\lim_{\lambda\to\infty}\hat{\boldsymbol\beta}_\lambda^* = \hat{\boldsymbol\beta}_\infty^* = \operatorname*{arg\,min}_{\|\mathbf X \boldsymbol\beta\|^2=1}\|\boldsymbol\beta\|^2 \sim \operatorname*{arg\,max}_{\| \boldsymbol\beta\|^2=1}\|\mathbf X\boldsymbol\beta\|^2,$

X

$\mathbf X$ (entsprechend skaliert). Dies beantwortet die Frage.

Betrachten wir nun die Lösung für jeden Wert von , auf den ich in Punkt 2 meiner Frage Bezug genommen habe. Addiert man zur Verlustfunktion den Lagrange-Multiplikator und differenziert man $\lambda$ $\mu(\|\mathbf X\boldsymbol\beta\|^2-1)$

{\hat{β}}_{λ}^{*} = ((1 + μ) X^{⊤} X + λ I)^{- 1} X^{⊤} y with μ needed to satisfy the constraint .

$\hat{\boldsymbol\beta}_\lambda^*=\big((1+\mu)\mathbf X^\top \mathbf X + \lambda \mathbf I\big)^{-1}\mathbf X^\top \mathbf y\:\:\text{with $\mu$ needed to satisfy the constraint}.$

Wie verhält sich diese Lösung, wenn von null bis unendlich wächst? $\lambda$

Bei erhalten wir eine skalierte Version der OLS-Lösung: $\lambda=0$
${\hat{β}}_{0}^{*} \sim {\hat{β}}_{0} .$ $\hat{\boldsymbol\beta}_0^* \sim \hat{\boldsymbol\beta}_0.$
Für positive, aber kleine Werte von ist die Lösung eine skalierte Version eines Gratschätzers: $\lambda$
${\hat{β}}_{λ}^{*} \sim {\hat{β}}_{λ^{*}} .$ $\hat{\boldsymbol\beta}_\lambda^* \sim \hat{\boldsymbol\beta}_{\lambda^*}.$
Wennist der Wert von benötigt wird, um die Bedingung zu erfüllen, . Dies bedeutet, dass die Lösung eine skalierte Version der ersten PLS-Komponente ist (was bedeutet, dass des entsprechenden Kantenschätzers ): $\lambda=\|\mathbf X\mathbf X^\top \mathbf y\|$ $(1+\mu)$ $0$ $\lambda^*$ $\infty$
${\hat{β}}_{‖ X X^{⊤} y ‖}^{*} \sim X^{⊤} y .$ $\hat{\boldsymbol\beta}_{\|\mathbf X\mathbf X^\top \mathbf y\|}^* \sim \mathbf X^\top \mathbf y.$
Wenn größer als das wird, wird der notwendige Term negativ. Ab sofort ist die Lösung eine skalierte Version eines Pseudo-Ridge-Schätzers mit negativem Regularisierungsparameter ( negativer Ridge ). In Bezug auf die Richtungen sind wir nun hinter der Gratregression mit unendlichem Lambda. $\lambda$ $(1+\mu)$
Wenn , würde der Term auf Null gehen (oder divergieren zu unendlich) es sei denn wobei der größte Singularwert von . Dies macht endlich und proportional zur ersten Hauptachse . Wir müssen , um die Bedingung zu erfüllen. So erhalten wir das $\lambda\to\infty$ $\big((1+\mu)\mathbf X^\top \mathbf X + \lambda \mathbf I\big)^{-1}$ $\mu = -\lambda/ s^2_\mathrm{max} + \alpha$ $s_\mathrm{max}$ $\mathbf X=\mathbf{USV}^\top$ $\hat{\boldsymbol\beta}_\lambda^*$ $\mathbf V_1$ $\mu = -\lambda/ s^2_\mathrm{max} + \mathbf U_1^\top \mathbf y -1$
${\hat{β}}_{\infty}^{*} \sim V_{1} .$ $\hat{\boldsymbol\beta}_\infty^* \sim \mathbf V_1.$

Insgesamt sehen wir, dass dieses eingeschränkte Minimierungsproblem Versionen mit Einheitsvarianz von OLS, RR, PLS und PCA im folgenden Spektrum umfasst:

OLS \to RR \to PLS \to negative RR \to PCA

$\boxed{\text{OLS} \to \text{RR} \to \text{PLS} \to \text{negative RR} \to \text{PCA}}$

Dies scheint einem obskuren (?) Chemometrischen Framework mit der Bezeichnung "Continuum Regression" (siehe https://scholar.google.de/scholar?q="continuum+regression " , insbesondere Stone & Brooks 1990, Sundberg 1993, zu entsprechen. Björkström & Sundberg 1999 usw.), die die gleiche Vereinheitlichung durch Maximierung eines Ad-hoc- KriteriumsDies ergibt offensichtlich skaliertes OLS, wenn , PLS, wenn , PCA, wenn ;, und es kann gezeigt werden, dass es skaliertes RR für ergibt

T = {corr}^{2} (y, X β) \cdot {Var}^{γ} (X β) s.t. ‖ β ‖ = 1.

$\mathcal T = \operatorname{corr}^2(\mathbf y, \mathbf X \boldsymbol\beta)\cdot \operatorname{Var}^\gamma(\mathbf X\boldsymbol\beta) \;\;\text{s.t.}\;\;\|\boldsymbol\beta\|=1.$

γ = 0

$\gamma=0$

γ = 1

$\gamma=1$

γ \to \infty

$\gamma\to\infty$

0 < γ < 1

$0<\gamma<1$

1 < γ < \infty

$1<\gamma<\infty$ , siehe Sundberg 1993.

Trotz einiger Erfahrung mit RR / PLS / PCA / etc muss ich zugeben, dass ich noch nie von "Continuum Regression" gehört habe. Ich sollte auch sagen, dass ich diesen Begriff nicht mag.

Ein Schema, das ich basierend auf dem von @ Martijn gemacht habe:

Update: Die Abbildung wurde mit dem negativen Gratpfad aktualisiert. Vielen Dank an @Martijn, der vorgeschlagen hat, wie es aussehen soll. Weitere Informationen finden Sie in meiner Antwort unter Grundlegendes zur negativen Gratregression .

— Amöbe sagt Reinstate Monica
quelle

"Continuum Regression" scheint eine überraschend breite Kategorie von Techniken zu sein, die darauf abzielen, PLS und PCA in einem gemeinsamen Rahmen zu vereinen. Übrigens hatte ich bis zur Untersuchung des negativen Kamms noch nie davon gehört (ich gebe einen Link zu Björkstron & Sundberg, 1999, Artikel im ersten Kommentar der Frage nach dem negativen Kamm, auf die Sie verweisen), obwohl dies in anscheinend ziemlich häufig diskutiert wird die chemometrische Literatur. Es muss einen historischen Grund geben, warum es sich scheinbar isoliert von anderen Bereichen der Statistik entwickelt hat. (1/3)

— Ryan Simmons

Ein Artikel, den Sie vielleicht lesen möchten, ist de Jong et al. (2001) . Ihre Formulierung von "kanonischem PLS" scheint auf den ersten Blick Ihrer zu entsprechen, obwohl ich die Mathematik noch nicht genau verglichen habe (sie bieten auch einen Überblick über mehrere andere PLS-PCA-Verallgemeinerungen in der gleichen Richtung). Aber es mag aufschlussreich sein zu sehen, wie sie das Problem erklärt haben. (2/3)

— Ryan Simmons

Im Falle, dass dieser Link stirbt, lautet das vollständige Zitat: Sijmen de Jong, Barry M. Wise, N. Lawrence Ricker. "Kanonische partielle kleinste Quadrate und Kontinuumsmacht-Regression." Journal of Chemometrics, 2001; 15: 85-100. doi.org/10.1002/… (3/3)

— Ryan Simmons

ah, ok, dann gehen und nach unendlich, aber ihr Verhältnis bleibt . In jedem Fall sollte der negative Gratregressionspfad im (negativen) Sektor zwischen den PLS- und PCA-Vektoren liegen, so dass deren Projektion auf die Ellipseliegt zwischen den Punkten PLS und PCA. (Die Norm, die ins Unendliche geht, ist sinnvoll, da das ins Unendliche geht, sodass der Pfad weiter nach rechts unten verläuft, zunächst tangential zu, negativ, PLS und schließlich zu PCA)

λ^{*}

$\lambda^*$

1 + μ^{*}

$1+\mu^*$

\pm

$\pm$

s_{m a x}^{2}

$s_{max}^2$

| X β = 1 |

$|X\beta=1|$

μ

$\mu$

— Sextus Empiricus

Es würde zur Visualisierung beitragen. Ich stelle mir die aktuellen drei RR-Pfadpunkte vor (an denen sich der Kreis und das Ellipsoid berühren), die sich nach rechts abwärts fortsetzen und schließlich im Unendlichen den Kreis und das Ellipsoid sollte sich in Richtung der Stelle 'berühren', an der der Kreis das Ellipsoid berührt

| β |^{2} = t_{\infty}

$|\beta|^2=t_{\infty}$

| X (β - \hat{β}) |^{2} = R S S

$|X (\beta - \hat\beta)|^2 =RSS$

| β |^{2} = t_{p c a}

$|\beta|^2=t_{pca}$

| X β |^{2} = 1

$|X \beta|^2 =1$

— Sextus Empiricus

Die Grenze des Ridge-Regressionsschätzers für "Einheitsvarianz", wenn

Eine geometrische Interpretation

Vergleich mit der Standardansicht der Gratregression

Bezüglich des Limitsλ→∞λ→∞\lambda \to \infty

Weitere Hinweise zum Limitλ→∞λ→∞\lambda \to \infty

Bezüglich des Limits $\lambda \to \infty$

Weitere Hinweise zum Limit $\lambda \to \infty$