Warum entspricht die Lasso-Strafe der doppelten Exponentialzahl (Laplace) vor?

27

Ich habe in einer Reihe von Referenzen gelesen, dass die Lasso-Schätzung für den Regressionsparametervektor dem posterioren Modus von in dem die vorherige Verteilung für jedes eine doppelte Exponentialverteilung ist (auch als Laplace-Verteilung bekannt). $B$ $B$ $B_i$

Ich habe versucht, dies zu beweisen, kann jemand die Details ausarbeiten?

— Wintermute
quelle

@ user777 Ich habe das Buch heute eine Weile durchgesehen. Konnte nichts Relevantes finden.

— Wintermute

3

Related: stats.stackexchange.com/questions/177210/…

— Tim

30

Betrachten wir der Einfachheit halber nur eine einzige Beobachtung einer Variablen so dass $Y$

Y | μ, σ^{2} \sim N (μ, σ^{2}),

$Y|\mu, \sigma^2 \sim N(\mu, \sigma^2),$

$\mu \sim \mbox{Laplace}(\lambda)$ und das falsche vorherige . $f(\sigma) \propto \mathbb{1}_{\sigma>0}$

Dann ist die gemeinsame Dichte von proportional zu $Y, \mu, \sigma^2$

f (Y., μ, σ^{2} | λ) \propto \frac{1}{σ} \exp (- \frac{(y - μ)^{2}}{σ^{2}}) \times 2 λ e^{- λ | μ |} .

$f(Y, \mu, \sigma^2 | \lambda) \propto \frac{1}{\sigma}\exp \left(-\frac{(y-\mu)^2}{\sigma^2} \right) \times 2\lambda e^{-\lambda \vert \mu \vert}.$

Erstellen eines Protokolls und Löschen von Begriffen, bei denen es sich nicht um , $\mu$

Log f (Y., μ, σ^{2}) = - \frac{1}{σ^{2}} ‖ y - μ ‖_{2}^{2} - λ | μ | . (1)

$\log f(Y, \mu, \sigma^2) = -\frac{1}{\sigma^2} \Vert y-\mu\Vert_2^2 -\lambda \vert \mu \vert. \quad (1)$

Somit ist das Maximum von (1) eine MAP-Schätzung und in der Tat das Lasso-Problem, nachdem wir reparametrisiert haben . $\tilde \lambda = \lambda \sigma^2$

Die Erweiterung der Regression ist klar: Ersetzen Sie mit in der normalen Wahrscheinlichkeit, und setzen Sie den vorherigen Wert für auf eine Folge unabhängiger Laplace- Verteilungen . $\mu$ $X\beta$ $\beta$ $(\lambda)$

— Andrew M
quelle

25

Dies wird durch die Überprüfung der Menge deutlich, die der LASSO optimiert.

Nehmen Sie den Prior für als unabhängiges Laplace mit mittlerer Null und einer gewissen Skalierung . $\beta_i$ $\tau$

Also . $p(\beta|\tau) \propto e^{-\frac{1}{2\tau} \sum_i|\beta_i|}$

Das Modell für die Daten ist die übliche Regressionsannahme . $y \stackrel{\text{iid}}{\sim}N(X\beta,\sigma^2)$

$f(\mathbf{y}|\mathbf{X},\boldsymbol\beta,\sigma^{2}) \propto (\sigma^{2})^{-n/2} \exp\left(-\frac{1}{2{\sigma}^{2}}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)\right)$

Jetzt ist minus das Doppelte des Logbuchs des Seitenzahns von der Form

$k(\sigma^2,\tau,n,p)+$ $\frac{1}{{\sigma}^{2}} (\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \frac{1}{\tau} \sum_i|\beta_i|$

Lassen Sie und wir erhalten -posterior von $\lambda=\sigma^2/\tau$ $-2\log$

$k(\sigma^2,\lambda,n,p)+$ $\frac{1}{{\sigma}^{2}}\left[ (\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \lambda \sum_i|\beta_i|\right]$

Der MAP-Schätzer für minimiert das oben Gesagte, wodurch es minimiert wird $\beta$

$S=(\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \lambda \sum_i|\beta_i|$

Der MAP-Schätzer für ist also LASSO. $\beta$

(Hier habe ich als effektiv behoben behandelt, aber Sie können andere Dinge damit tun und trotzdem LASSO herausbringen.) $\sigma^2$

Bearbeiten: Das ist, was ich zum Verfassen einer Antwort offline erhalten; Ich habe keine gute Antwort gesehen, die bereits von Andrew gepostet wurde. Meins tut wirklich nichts, was er nicht schon tut. Ich lasse meins vorerst, da es ein paar Details zur Entwicklung in Bezug auf . $\beta$

— Glen_b - Setzen Sie Monica wieder ein
quelle

1

Es scheint einen Unterschied zwischen Ihrer und der von Andrew zu geben. Ihre Antwort hat die richtige Form des Regularisierers: , während AndrewIn der linearen Regression erhalten wir .

λ ‖ β ‖_{1}

$\lambda \|\beta\|_1$

λ | μ |

$\lambda |\mu|$

μ = X β

$\mu=X\beta$

— Alex R.

2

@AlexR Ich glaube, Sie interpretieren das μ in Andrews Antwort falsch. Das μ dort entspricht a in einer Regression mit nur einem Achsenabschnitt, nicht in einer multiplen Regression; Das gleiche Argument folgt für den größeren Fall (beachten Sie die Parallelen mit meiner Antwort), aber es ist einfacher, im einfachen Fall zu folgen. Andrews Antwort ist im Wesentlichen richtig, verbindet jedoch nicht alle Punkte mit der ursprünglichen Frage, sodass der Leser eine kleine Menge ausfüllen kann. Ich denke, dass unsere Antworten konsistent sind (bis auf einige geringfügige Unterschiede in Bezug auf σ, die berücksichtigt werden können). und dass er die Zecke voll verdient hat

β_{0}

$\beta_0$

X β

$X\beta$

— Glen_b