Ridge-Regression: Regularisierung in Richtung eines Wertes

7

Die traditionelle Kammregressionsschätzung ist

{\hat{β}}_{r i d g e} = (X^{T} X + λ I)^{- 1} X^{T} Y

$\hat{\beta}_{ridge} = (X^TX+\lambda I)^{-1} X^T Y$

ergibt sich aus dem Hinzufügen des . $\lambda ||\beta||^2_2$

Ich habe mich bemüht, Literatur über die Regularisierung auf einen bestimmten Wert zu finden . Insbesondere habe ich mir ein Ridge-Regressionsmodell angesehen, das die Form der Strafe wobei die anfängliche Schätzung von unter der Einstellung Iterativ neu gewichtete kleinste Quadrate ist. Die Kammregressionsschätzung ist wiederum $\lambda ||\beta-B||^2_2$ $B$ $\beta$

{\hat{β}}_{r i d g e} = (X^{T} X + λ I)^{- 1} (X^{T} Y + λ B) .

$\hat{\beta}_{ridge} = (X^TX+\lambda I)^{-1} (X^T Y + \lambda B).$

Der Lambda-Parameter wird ebenfalls sehr groß gewählt ( ), was mir den Anschein erweckt, dass die Schätzung versucht, gegen zu konvergieren . $\lambda=100000$ $B$

Warum auf einen Wert regulieren? Ändert dies die Interpretation von ? $\beta$

Alle Kommentare und / oder Zitate wären sehr dankbar. Vielen Dank!

— CindyLhasapoo
quelle

3

Ich folge Ihrer Frage nicht vollständig, da sie verschiedene Dinge zu betreffen scheint: Regularisierung, IRLS und Konzentration auf einen bestimmten Wert. Was letzteres betrifft, können Sie, wenn Sie durch ersetzen , einfach die Standard-Ridge-Regression anwenden. Ob dies eine gute Idee ist oder nicht, hängt davon ab, was IRLS für Ihre Daten leistet: Offensichtlich können die Ergebnisse äußerst empfindlich auf die IRLS-Schätzung reagieren.

Y

$Y$

Y - X B

$Y-XB$

— whuber

Ich wollte wirklich nur wissen, welchen Zweck der von ihnen verwendete Strafbegriff hat und ob die Gratschätzung noch eine Interpretation hat. Das hier ist eine Matrix in der Arbeit, aber und sind immer noch Vektoren. Was ich nicht verstehen kann, ist das in ihrer endgültigen Schätzung der Prädiktormatrix. Ich würde erwarten, dass eine Struktur, in der die Diagonale oben und unten dominiert, einige Beiträge liefert, denken Sie an die Blockdiagonale. Dies ist jedoch nicht der Fall, daher frage ich mich, ob sich die Interpretation ändert, wenn verschiedene Kombinationen von Straf- und Gratwerten verwendet werden.

β

$\beta$

Y

$Y$

X

$X$

— CindyLhasapoo

Ich folge dir nicht, weil es keinen mathematischen oder statistischen Sinn macht , wenn und Vektoren und eine Matrix sind. Normalerweise ist die Entwurfsmatrix (sie enthält die Werte aller Regressorvariablen), ist ein Vektor (von Antworten) und ist ein Vektor von Koeffizienten. Wenn Sie verstehen möchten, was die Ridge-Regressionsschätzung bedeutet, überprüfen Sie, was Ridge-Regression ist: Wie ich in meinem ersten Kommentar ausgeführt habe, kann das, was Sie beschreiben, als Standardmodell für die Ridge-Regression umformuliert werden.

X

$X$

Y

$Y$

β

$\beta$

X

$X$

Y

$Y$

β

$\beta$

— whuber

Eine Regularisierung auf einen anderen Wert als Null könnte mithilfe von Offsets implementiert werden, wenn die Software dies implementiert.

— kjetil b halvorsen

Unter stats.stackexchange.com/a/311490/919 gebe ich die Details des Arguments an, dass das Regularisieren auf einen bestimmten Wert dasselbe ist wie das Regularisieren auf 0. Dies sollte bei der Interpretation helfen.

— whuber

5

Wir haben die Kostenfunktion

‖ y - X β ‖_{2}^{2} + γ ‖ β - β_{0} ‖_{2}^{2}

$\| \mathrm y - \mathrm X \beta \|_2^2 + \gamma \| \beta - \beta_0 \|_2^2$

Dabei ist . Das Minimum wird bei erreicht $\gamma \geq 0$

\hat{β} := (X^{⊤} X + γ I)^{- 1} (X^{⊤} y + γ β_{0})

$\hat{\beta} := ( \mathrm X^{\top} \mathrm X + \gamma \mathrm I )^{-1} ( \mathrm X^{\top} \mathrm y + \gamma \beta_0 )$

Beachten Sie, dass möglicherweise nicht invertierbar ist, jedoch immer invertierbar ist, wenn . $\mathrm X^{\top} \mathrm X$ $\mathrm X^{\top} \mathrm X + \gamma \mathrm I$ $\gamma > 0$

Wenn , dann $\gamma \gg 1$

\begin{aligned} \hat{β} & = (X^{⊤} X + γ I)^{- 1} (X^{⊤} y + γ β_{0}) \\ = (γ^{- 1} X^{⊤} X + I)^{- 1} (γ^{- 1} X^{⊤} y + β_{0}) \\ \approx (I - γ^{- 1} X^{⊤} X) (β_{0} + γ^{- 1} X^{⊤} y) \\ \approx (I - γ^{- 1} X^{⊤} X) β_{0} + γ^{- 1} X^{⊤} y \\ = β_{0} + γ^{- 1} X^{⊤} (y - X β_{0}) \end{aligned}

$\begin{array}{rl} \hat{\beta} &= ( \mathrm X^{\top} \mathrm X + \gamma \mathrm I )^{-1} ( \mathrm X^{\top} \mathrm y + \gamma \beta_0 )\\ &= ( \gamma^{-1} \mathrm X^{\top} \mathrm X + \mathrm I )^{-1} ( \gamma^{-1} \mathrm X^{\top} \mathrm y + \beta_0 )\\ &\approx ( \mathrm I - \gamma^{-1} \mathrm X^{\top} \mathrm X ) ( \beta_0 + \gamma^{-1} \mathrm X^{\top} \mathrm y )\\ &\approx ( \mathrm I - \gamma^{-1} \mathrm X^{\top} \mathrm X ) \beta_0 + \gamma^{-1} \mathrm X^{\top} \mathrm y\\ &= \beta_0 + \gamma^{-1} \mathrm X^{\top} \left( \mathrm y - \mathrm X \beta_0 \right)\end{array}$

Für großes haben wir die ungefähre Schätzung $\gamma$

\tilde{β} := β_{0} + γ^{- 1} X^{⊤} (y - X β_{0})

$\boxed{\tilde{\beta} := \beta_0 + \gamma^{-1} \mathrm X^{\top} \left( \mathrm y - \mathrm X \beta_0 \right)}$

Wenn , dann , wie erwartet. Wenn wir beide Seiten mit links multiplizieren , erhalten wir $\gamma \to \infty$ $\tilde{\beta} \to \beta_0$ $\mathrm X$

X \tilde{β} = X β_{0} + γ^{- 1} X X^{⊤} (y - X β_{0})

$\mathrm X \tilde{\beta} = \mathrm X \beta_0 + \gamma^{-1} \mathrm X \mathrm X^{\top} \left( \mathrm y - \mathrm X \beta_0 \right)$

und somit,

y - X \tilde{β} = (I - γ^{- 1} X X^{⊤}) (y - X β_{0})

$\mathrm y - \mathrm X \tilde{\beta} = \left( \mathrm I - \gamma^{-1} \mathrm X \mathrm X^{\top} \right) \left( \mathrm y - \mathrm X \beta_0 \right)$

Dies gibt uns , eine Annäherung des Fehlervektors für großes, aber endliches , ausgedrückt als , den Fehlervektor für unendlich . $\mathrm y - \mathrm X \tilde{\beta}$ $\gamma$ $\mathrm y - \mathrm X \beta_0$ $\gamma$

Nichts davon scheint besonders aufschlussreich oder nützlich zu sein, aber es kann besser als nichts sein.

— Rodrigo de Azevedo
quelle

Schreiben Sie und . Jetzt haben Sie das übliche Ridge Regression-Setup für die Kosten , sodass Sie die Lösung sofort aufschreiben können.

β - β_{0} = α

$\beta-\beta_0=\alpha$

y = z - X β_{0}

$y=z-X\beta_0$

| | z - X α | |^{2} + γ | | α | |^{2}

$||z-X\alpha||^2+\gamma||\alpha||^2$

— whuber

3

Konzeptionell kann es hilfreich sein, in Bezug auf die Bayes'sche Aktualisierung zu denken : Der Strafbegriff entspricht einer vorherigen Schätzung mit Genauigkeit (dh einem multivariaten Gaußschen Prior $\beta_0$ $\lambda$ $\beta\sim\mathrm{N}_{\beta_0,\,I/\lambda}).$

In diesem Sinne ist ein „sehr großes“ ist nicht entspricht einen bestimmten Zahlenwert. Vielmehr wäre es ein Wert, der den Fehler "dominiert", so dass er numerisch relativ zu einer Norm groß sein muss der Entwurfsmatrix. Für Ihr Beispiel können wir also nicht sagen, ob "sehr groß" ist oder nicht, ohne weitere Informationen. $\lambda$ $\|X\|$ $\lambda=100000$

Das heißt, warum könnte ein "sehr großer" Wert verwendet werden? Ein häufiger Fall, den ich in der Praxis gesehen habe, ist, dass das eigentliche Problem gleichheitsbeschränkte kleinste Quadrate sind , aber dies wird unter Verwendung der Tikhonov-Regularisierung mit einem "großen " angenähert . (Dies ist etwas allgemeiner als Ihr Fall und würde einer "breiten" Matrix , so dass genau gelöst werden könnte.) $\lambda$ $\Lambda$ $\Lambda(\beta-\beta_0)=0$

— GeoMatt22
quelle

Normalerweise wird die Ridge-Regression erst durchgeführt, nachdem die Spalten von standardisiert wurden , sodass eine intrinsische Bedeutung hat.

X

$X$

λ

$\lambda$

— whuber

@whuber danke für die Informationen, die ich nicht kannte.

— GeoMatt22

Ich denke, es ist wenn der zweite Parameter für die Kovarianzmatrix steht.

N_{β_{0}, I / λ}

$N_{\beta_0,I/\lambda}$

— Benoit Sanchez

@ BenoitSanchez danke! Ich weiß nicht, was ich dachte, da ich es Präzision nur 5 Wörter zuvor genannt habe :)

— GeoMatt22

Ich schrieb eine ähnliche Antwort, als ich Ihre las und dachte, einer von uns könnte etwas vermissen :-)

— Benoit Sanchez

2

Ich habe eine Antwort für "Warum auf einen Wert regulieren? Ändert dies die Interpretation von ?" $\beta$

Transferlernen ist eine Art des maschinellen Lernens, bei dem Wissen aus der Quelldomäne beim Ausführen einer Aufgabe in die Zieldomäne übertragen wird, wenn dieselbe Aufgabe ausgeführt wird, dh die Aufgabe bleibt gleich, aber die Datensätze in den beiden Domänen unterscheiden sich.

Eine Möglichkeit, Transferlernen durchzuführen, ist die gemeinsame Nutzung von Parametern. Die Intuition auf hoher Ebene ist, dass die Parameter des Zieldomänenmodells sehr nahe an den Parametern des Quelldomänenmodells liegen sollten, während dennoch eine gewisse Unsicherheit berücksichtigt wird. Mathematisch wird diese Intuition erfasst, indem die Abweichung der Parameter , dh , wobei der Bestrafungsparameter ist und W ein Vektor von Modellparametern ist. $\lambda\|W_{target}−W_{source}\|^2_2$ $λ$

Ich habe diesen Ansatz verwendet, um Transferlernen für bedingte Zufallsfelder durchzuführen , siehe Gl. 4 und zugehöriger Text.

Ich hatte eine ähnliche Frage zur Ridge-Regression, die hier zur Interpretierbarkeit der Lösung in geschlossener Form gestellt wurde.

— anataraj
quelle

1

Es ist möglich, es aus Bayes'scher Sicht zu verstehen .

Die Ridge-Regularisierung für die lineare Regression ist eine getarnte Bayes'sche Methode. Siehe: https://en.wikipedia.org/wiki/Lasso_(statistics)#Bayesian_interpretation (es ist leichter zu verstehen, erklärt auf der Lasso-Seite der Wikipedia, aber es ist die gleiche Idee mit Ridge).

Die Konvention, die ich für die Regularisierung verwende, ist die folgende. Minimieren: . Angenommen, das Rauschen hat der Einfachheit halber die Varianz (andernfalls ersetzen Sie überall durch ). $\left(\displaystyle\sum_{i=1}^N(y_i-\beta x_i)^2\right)+\lambda\|\beta-\beta_0\|^2$ $\sigma^2=1$ $\lambda$ $\lambda/\sigma^2$

Regularisierung mit dem Koeffizienten bedeutet die Annahme eines normalen vorherigen : "Ich erwarte als vorherige Annahme, dass die Koeffizienten klein sind": Die vorherige Verteilung ist eine Normalverteilung mit dem Mittelwert und "Radius" . Eine Regularisierung in Richtung bedeutet die Annahme eines normalen vorherigen : "Ich erwarte als vorherige Annahme, dass die Koeffizienten nicht weit von ": Die vorherige Verteilung ist normal Verteilung mit Mittelwert und "Radius" . $\lambda$ $N(0;\frac{1}{\lambda}I)$ $0$ $\sqrt\frac{1}{\lambda}$ $\beta_0$ $N(\beta_0;\frac{1}{\lambda}I)$ $\beta_0$ $\beta_0$ $\sqrt\frac{1}{\lambda}$

Dieser Prior resultiert oft aus einem früheren Training, bei dem als Schätzung angegeben wurde. Die Stärke deines Glaubens ist die statistische Aussagekraft Ihrer ersten Trainingssatz. Ein großes Lambda bedeutet, dass Sie zuvor viele Informationen hatten. Ihre Überzeugung ändert sich für jedes neue Beispiel nur geringfügig: ein kleines Update nach Beispiel. $\beta_0$ $\lambda$

— Benoit Sanchez
quelle