Zeigen der Äquivalenz zwischen der regulierten Regression der

Gemäß den Referenzen Buch 1 , Buch 2 und Papier .

Es wurde erwähnt, dass es eine Äquivalenz zwischen der regulierten Regression (Ridge, LASSO und Elastic Net) und ihren Einschränkungsformeln gibt.

Ich habe mir auch Cross Validated 1 und Cross Validated 2 angesehen , aber ich kann keine klare Antwort sehen, die diese Äquivalenz oder Logik zeigt.

Meine Frage ist

Wie kann man diese Äquivalenz mit Karush-Kuhn-Tucker (KKT) zeigen?

Die folgenden Formeln gelten für die Ridge-Regression.

HINWEIS

Diese Frage ist keine Hausaufgabe. Es dient nur dazu, mein Verständnis für dieses Thema zu verbessern.

AKTUALISIEREN

Ich habe noch keine Idee.

— jeza
quelle

Warum brauchen Sie mehr als eine Antwort? Die aktuelle Antwort scheint die Frage umfassend zu beantworten. Wenn Sie mehr über Optimierungsmethoden erfahren möchten, ist die konvexe Optimierung Lieven Vandenberghe und Stephen P. Boyd ein guter Ausgangspunkt.

— Sycorax sagt Reinstate Monica

@Sycorax, danke für deine Kommentare und das Buch, das du mir zur Verfügung stellst. Die Antwort ist für mich nicht so klar und ich kann nicht um mehr Klarstellung bitten. Somit kann mehr als eine Antwort mich eine andere Perspektive und Art der Beschreibung sehen lassen.

— Jeza

@jeza, Was fehlt in meiner Antwort?

— Royi

Bitte geben Sie Ihre Frage als Text ein, posten Sie nicht nur ein Foto (siehe hier ).

— Gung - Reinstate Monica

Antworten:

Die technischere Antwort ist, dass das eingeschränkte Optimierungsproblem in Form von Lagrange-Multiplikatoren geschrieben werden kann. Insbesondere ist der Lagrange , der mit dem eingeschränkten Optimierungsproblem verbunden ist, gegeben durch

L (β) = \underset{β}{a r g m i n} {\sum_{i = 1}^{N} {(y_{i} - \sum_{j = 1}^{p} x_{i j} β_{j})}^{2}} + μ {(1 - α) \sum_{j = 1}^{p} | β_{j} | + α \sum_{j = 1}^{p} β_{j}^{2}}}

$\mathcal L(\beta) = \underset{\beta}{\mathrm{argmin}}\,\left\{\sum_{i=1}^N \left(y_i - \sum_{j=1}^p x_{ij} \beta_j\right)^2\right\} + \mu \left\{(1-\alpha) \sum_{j=1}^p |\beta_j| + \alpha \sum_{j=1}^p \beta_j^2\right\}$ wobei

μ

$\mu$ ist ein Multiplikator, der ausgewählt wurde, um die Einschränkungen des Problems zu erfüllen. Die Bedingungen erster Ordnung (die ausreichen, da Sie mit guten richtigen konvexen Funktionen arbeiten) für dieses Optimierungsproblem können daher erhalten werden, indem der Lagrange in Bezug auf

β

$\beta$ differenziert und die Ableitungen gleich 0 gesetzt werden (seit dem LASSO etwas nuancierter) Teil hat undifferenzierbare Punkte, aber es gibt Methoden aus der konvexen Analyse um die Ableitung zu verallgemeinern, damit die Bedingung erster Ordnung noch funktioniert. Es ist klar, dass diese Bedingungen erster Ordnung mit den Bedingungen erster Ordnung des von Ihnen aufgeschriebenen uneingeschränkten Problems identisch sind.

Ich denke jedoch, es ist nützlich zu sehen, warum es bei diesen Optimierungsproblemen im Allgemeinen oft möglich ist, über das Problem entweder durch die Linse eines eingeschränkten Optimierungsproblems oder durch die Linse eines nicht eingeschränkten Problems nachzudenken. Nehmen wir konkreter an, wir haben ein uneingeschränktes Optimierungsproblem der folgenden Form:

max_{x} f (x) + λ g (x)

$\max_x f(x) + \lambda g(x)$ Wir können immer versuchen, diese Optimierung direkt zu lösen, aber manchmal kann es sinnvoll sein, dieses Problem in Unterkomponenten zu unterteilen . Insbesondere ist es nicht schwer zu erkennen, dass

max_{x} f (x) + λ g (x) = max_{t} (max_{x} f (x) s . t g (x) = t) + λ t

$\max_x f(x) + \lambda g(x) = \max_t \left(\max_x f(x)\ \mathrm{ s.t }\ g(x) = t\right) + \lambda t$ Für einen festen Wert von

λ

$\lambda$ (und unter der Annahme, dass die zu optimierenden Funktionen tatsächlich ihre Optima erreichen) können wir also assoziieren es ist ein Wert

t^{*}

$t^*$ das löst das äußere Optimierungsproblem. Dies gibt uns eine Art Zuordnung von uneingeschränkten Optimierungsproblemen zu eingeschränkten Problemen. In Ihrer speziellen Einstellung sollte diese Zuordnung tatsächlich eins zu eins sein, da sich für die elastische Netzregression alles gut verhält. Daher ist es hilfreich, zwischen diesen beiden Kontexten wechseln zu können, je nachdem, welcher für eine bestimmte Anwendung nützlicher ist. Im Allgemeinen verhält sich diese Beziehung zwischen eingeschränkten und nicht eingeschränkten Problemen möglicherweise weniger gut, aber es kann dennoch nützlich sein, darüber nachzudenken, inwieweit Sie zwischen dem eingeschränkten und dem nicht eingeschränkten Problem wechseln können.

Bearbeiten: Wie gewünscht, werde ich eine konkretere Analyse für die Gratregression aufnehmen, da sie die Hauptideen erfasst und gleichzeitig vermeidet, sich mit den technischen Details zu befassen, die mit der Nichtdifferenzierbarkeit der LASSO-Strafe verbunden sind. Denken Sie daran, wir lösen das Optimierungsproblem (in Matrixnotation):

\underset{β}{a r g m i n} {\sum_{i = 1}^{N} y_{i} - x_{i}^{T} β} s . t . | | β | |^{2} \leq M

$\underset{\beta}{\mathrm{argmin}} \left\{\sum_{i=1}^N y_i - x_i^T \beta\right\}\quad\mathrm{s.t.}\, ||\beta||^2 \leq M$

Sei $\beta^{OLS}$ die OLS-Lösung (dh wenn es keine Einschränkung gibt). Dann werde ich mich auf den Fall konzentrieren, in dem $M < \left|\left|\beta^{OLS}\right|\right|$ (sofern dies vorhanden ist), da die Einschränkung ansonsten uninteressant ist, da sie nicht bindet. Der Lagrange für dieses Problem kann geschrieben werden

L (β) = \underset{β}{a r g m i n} {\sum_{i = 1}^{N} y_{i} - x_{i}^{T} β} - μ \cdot | | β | |^{2} \leq M

$\mathcal L(\beta) = \underset{\beta}{\mathrm{argmin}} \left\{\sum_{i=1}^N y_i - x_i^T \beta\right\} - \mu\cdot||\beta||^2 \leq M$ Wennwirdanndifferenzieren, erhalten wir Bedingungen erster Ordnung:

0 = - 2 (\sum_{i = 1}^{N} y_{i} x_{i} + (\sum_{i = 1}^{N} x_{i} x_{i}^{T} + μ I) β)

$0 = -2 \left(\sum_{i=1}^N y_i x_i + \left(\sum_{i=1}^N x_i x_i^T + \mu I\right) \beta\right)$ was nur ein System von ist lineare Gleichungen und können folglich gelöst

\hat{β} = {(\sum_{i = 1}^{N} x_{i} x_{i}^{T} + μ I)}^{- 1} (\sum_{i = 1}^{N} y_{i} x_{i})

$\hat\beta = \left(\sum_{i=1}^N x_i x_i^T + \mu I\right)^{-1}\left(\sum_{i=1}^N y_i x_i\right)$

μ

$\mu$

{({(\sum_{i = 1}^{N} x_{i} x_{i}^{T} + μ I)}^{- 1} (\sum_{i = 1}^{N} y_{i} x_{i}))}^{T} ({(\sum_{i = 1}^{N} x_{i} x_{i}^{T} + μ I)}^{- 1} (\sum_{i = 1}^{N} y_{i} x_{i})) = M

$\left(\left(\sum_{i=1}^N x_i x_i^T + \mu I\right)^{-1}\left(\sum_{i=1}^N y_i x_i\right)\right)^T\left(\left(\sum_{i=1}^N x_i x_i^T + \mu I\right)^{-1}\left(\sum_{i=1}^N y_i x_i\right)\right) = M$ which exists since the LHS is monotonic in

μ

$\mu$ . This equation gives an explicit mapping from multipliers

μ \in (0, \infty)

$\mu \in (0,\infty)$ to constraints,

M \in (0, | | β^{O L S} | |)

$M \in \left(0, \left|\left|\beta^{OLS}\right|\right|\right)$ with

lim_{μ \to 0} M (μ) = | | β^{O L S} | |

$\lim_{\mu\to 0} M(\mu) = \left|\left|\beta^{OLS}\right|\right|$ when the RHS exists and

lim_{μ \to \infty} M (μ) = 0

$\lim_{\mu \to \infty} M(\mu) = 0$ This mapping actually corresponds to something quite intuitive. The envelope theorem tells us that

μ (M)

$\mu(M)$ corresponds to the marginal decrease in error we get from a small relaxation of the constraint

M

$M$ . This explains why when

μ \to 0

$\mu \to 0$ corresponds to

M \to | | β^{O L S} | |

$M \to \left|\right|\beta^{OLS}\left|\right|$ . Once the constraint is not binding, there is no value in relaxing it any more, which is why the multiplier vanishes.

— stats_model
quelle

could you please provide us with a detailed answer step by step with a practical example if that possible.

— jeza

many thanks, why you do not mention KKT? I am not familiar with this area, so treat me as a high school student.

— jeza

The KKT conditions in this case are a generalization of the “first order conditions” I mention by differentiating the Lagrangian and setting the derivative equal to 0. Since in this example, the constraints hold with equality, we don’t need the KKT conditions in full generally. In more complicated cases, all that happens is that some of the equalities above become inequalities and the multiplier becomes 0 for constraints become non binding . For example, this is exactly what happens when

M > | | β^{O L S} | |

$M > ||\beta^{OLS}||$ in the above.

— stats_model

There is a great analysis by stats_model in his answer.

I tried answering similar question at The Proof of Equivalent Formulas of Ridge Regression.

I will take more Hand On approach for this case.
Let's try to see the mapping between $t$ and $\lambda$ in the 2 models.

As I wrote and can be seen from stats_model in his analysis the mapping depends on the data. Hence we'll chose a specific realization of the problem. Yet the code and sketching the solution will add intuition to what's going on.

We'll compare the following 2 models:

The Regularized Model: \arg min_{x} \frac{1}{2} {‖ A x - y ‖}_{2}^{2} + λ {‖ x ‖}_{2}^{2}

$\text{The Regularized Model: } \arg \min_{x} \frac{1}{2} {\left\| A x - y \right\|}_{2}^{2} + \lambda {\left\| x \right\|}_{2}^{2}$

The Constrained Model: \begin{aligned} \arg min_{x} & \frac{1}{2} {‖ A x - y ‖}_{2}^{2} \\ subject to & {‖ x ‖}_{2}^{2} \leq t \end{aligned}

$\text{The Constrained Model: } \begin{align*} \arg \min_{x} \quad & \frac{1}{2} {\left\| A x - y \right\|}_{2}^{2} \\ \text{subject to} \quad & {\left\| x \right\|}_{2}^{2} \leq t \end{align*}$

Let's assume that $\hat{x}$ to be the solution of the regularized model and $\tilde{x}$ to be the solution of the constrained model.

We're looking at the mapping from $t$ to $\lambda$ such that $\hat{x} = \tilde{x}$ .
Looking on my solution to Solver for Norm Constraint Least Squares one could see that solving the Constrained Model involves solving the Regularized Model and finding the $\lambda$ that matches the $t$ (The actual code is presented in Least Squares with Euclidean ( ${L}_{2}$ ) Norm Constraint).

So we'll run the same solver and for each $t$ we'll display the optimal $\lambda$ .

The solver basically solves:

\begin{aligned} \arg_{λ} & λ \\ subject to & {‖ {(A^{T} A + 2 λ I)}^{- 1} A^{T} b ‖}_{2}^{2} - t = 0 \end{aligned}

$\begin{align*} \arg_{\lambda} \quad & \lambda \\ \text{subject to} \quad & {\left\| {\left( {A}^{T} A + 2 \lambda I \right)}^{-1} {A}^{T} b \right\|}_{2}^{2} - t = 0 \end{align*}$

So here is our Matrix:

mA =

   -0.0716    0.2384   -0.6963   -0.0359
    0.5794   -0.9141    0.3674    1.6489
   -0.1485   -0.0049    0.3248   -1.7484
    0.5391   -0.4839   -0.5446   -0.8117
    0.0023    0.0434    0.5681    0.7776
    0.6104   -0.9808    0.6951   -1.1300

And here is our vector:

This is the mapping:

As can be seen above, for high enough value of $t$ the parameter $\lambda = 0$ as expected.

Zooming in to the [0, 10] range:

The full code is available on my StackExchange Cross Validated Q401212 GitHub Repository.

— Royi
quelle