Kann

11

Wenn , kann $\beta^*=\mathrm{arg\,min}_{\beta} \|y-X\beta\|^2_2+\lambda\|\beta\|_1$ zunehmen, wenn zunimmt? $\|\beta^*\|_2$ $\lambda$

Ich denke das ist möglich. Obwohl nicht zunimmt, wenn zunimmt (mein Beweis ), kann zunehmen. Die folgende Abbildung zeigt eine Möglichkeit. Wenn zunimmt und (linear) von nach wandert , nimmt zu, während abnimmt. Aber ich weiß nicht, wie man ein konkretes Beispiel konstruiert (dh und konstruiert) $\|\beta^*\|_1$ $\lambda$ $\|\beta^*\|_2$ $\lambda$ $\beta^*$ $P$ $Q$ $\|\beta^*\|_2$ $\|\beta^*\|_1$ $X$ $y$ ), so dass das Profil von dieses Verhalten zeigt. Irgendwelche Ideen? Vielen Dank. $\beta^*$

Geben Sie hier die Bildbeschreibung ein

lasso

— Ziyuang
quelle

10

Die Antwort lautet ja, und Sie haben genau dort einen grafischen Beweis in . $\ell_2$

‖ x ‖_{2} \leq ‖ x ‖_{1} \leq \sqrt{n} ‖ x ‖_{2},

$\|x\|_2 \leq \|x\|_1 \leq \sqrt{n}\|x\|_2,$

n

$n$

x

$x$

ℓ_{2}

$\ell_2$

ℓ_{1}

$\ell_1$ Norm einen Norm.

In der Tat kann das Problem, das Sie lösen möchten, wie folgt angegeben werden:

$d$

‖ x + d ‖_{2} > ‖ x ‖_{2}

$\|x + d\|_2 > \|x\|_2$

‖ x + d ‖_{1} < ‖ x ‖_{1} .

$\|x + d\|_1 < \|x\|_1.$

2 \sum_{i} x_{i} d_{i} > - \sum_{i} d_{i}^{2}

$2\sum_i x_id_i > -\sum_i d_i^2$

x_{i} \geq 0

$x_i\geq0$

x_{i} + d_{i} \geq 0

$x_i+d_i\geq0$

\sum_{i} d_{i} < 0.

$\sum_i d_i < 0.$

d

$d$

ℓ_{2}

$\ell_2$

ℓ_{1}

$\ell_1$

$d\approx[-0.4, 0.3]^T$ $x:=P\approx[0.5, 0.6]^T$

\sum_{i} d_{i} \approx - 0.1 < 0,

$\sum_i d_i\approx-0.1<0,$

2 \sum_{i} P_{i} d_{i} \approx - 0.04 > - 0.25 \approx - \sum_{i} d_{i}^{2} .

$2\sum_i P_id_i\approx-0.04 > -0.25 \approx -\sum_i d_i^2.$

— Tommy L.
quelle

X

$X$

y

$y$

3

$X$ $y$ $\lambda$ $\|\beta^*\|_2$ $\beta^*_i$ $X$

β_{i}^{*} = s i g n (β_{i}^{L S}) (β_{i}^{L S} - λ)_{+}

$\beta^*_i=\mathrm{sign}(\beta_i^{\mathrm{LS}})(\beta_i^{\mathrm{LS}}-\lambda)_+$

$\beta^*$ $\ell_1$ $\|\beta^*\|_2$ nicht zunehmen kann.

Tatsächlich haben Hastie et al. erwähnt in der Arbeit Forward stagewise Regression und das monotone Lasso , eine notwendige und ausreichende Bedingung für die Monotonie der Profilpfade :

Geben Sie hier die Bildbeschreibung ein

In Abschnitt 6 der Arbeit konstruierten sie einen künstlichen Datensatz, der auf stückweise linearen Basisfunktionen basiert und die obige Bedingung verletzt und die Nicht-Monotonie zeigt. Wenn wir Glück haben, können wir auch einen zufälligen Datensatz erstellen, der das ähnliche Verhalten auf einfachere Weise demonstriert. Hier ist mein R-Code:

library(glmnet)
set.seed(0)
N <- 10
p <- 15
x1 <- rnorm(N)
X <- mat.or.vec(N, p)
X[, 1] <- x1
for (i in 2:p) {X[, i] <- x1 + rnorm(N, sd=0.2)}
beta <- rnorm(p, sd=10)
y <- X %*% beta + rnorm(N, sd=0.01)
model <- glmnet(X, y, family="gaussian", alpha=1, intercept=FALSE)

$X$ $\beta$ $\beta^*$

Geben Sie hier die Bildbeschreibung ein

$\lambda$ $\|\beta^*\|_2$

Geben Sie hier die Bildbeschreibung ein

$\lambda$ $\|\beta^*\|_2$ $\lambda$

— Ziyuang
quelle