Lambda-Bereich in elastischer Netzregression

$\def\l{|\!|}$ Angesichts der elastischen Netzregression

min_{b} \frac{1}{2} | | y - X b | |^{2} + α λ | | b | |_{2}^{2} + (1 - α) λ | | b | |_{1}

$\min_b \frac{1}{2}\l y - Xb \l^2 + \alpha\lambda \l b\l_2^2 + (1 - \alpha) \lambda \l b\l_1$

Wie kann ein geeigneter Bereich von $\lambda$ für die Kreuzvalidierung ausgewählt werden?

Im Fall $\alpha=1$ (Gratregression) die Formel

dof = \sum_{j} \frac{s_{j}^{2}}{s_{j}^{2} + λ}

$\textrm{dof} = \sum_j \frac{s_j^2}{s_j^2+\lambda}$

kann verwendet werden, um für jedes Lambda äquivalente Freiheitsgrade anzugeben (wobei $s_j$ die singulären Werte von $X$ ), und Freiheitsgrade können in einem vernünftigen Bereich gewählt werden.

Im Fall $\alpha=0$ (Lasso) wissen wir das

λ > λ_{max} = max_{j} | \sum_{t} y_{t} X_{t j} |

$\lambda > \lambda_{\textrm{max}} = \max_j|\sum_t y_t X_{tj}|$

führt dazu, dass alle $b_j$ Null sind und $\lambda$ in einem bestimmten Bereich ausgewählt werden kann $(0, \lambda_\textrm{max})$ .

Aber wie geht man mit dem gemischten Fall um?

— Chris Taylor
quelle

Ich denke, Sie sollten einen Bereich von bis verwenden $0$

λ_{max}^{'} = \frac{1}{1 - α} λ_{max}

$\lambda_\text{max}^\prime = \frac{1}{1-\alpha}\lambda_\text{max}$

Meine Argumentation stammt aus der Erweiterung des Lasso-Falls, und eine vollständige Ableitung finden Sie weiter unten. Das Qualifikationsmerkmal ist, dass es die -Einschränkung, die durch die Regularisierung verursacht wird, nicht erfasst . Wenn ich herausfinde, wie das behoben werden kann (und ob es tatsächlich repariert werden muss), komme ich zurück und bearbeite es. $\text{dof}$ $\ell_2$

Definieren Sie das Ziel

f (b) = \frac{1}{2} ‖ y - X b ‖^{2} + \frac{1}{2} γ ‖ b ‖^{2} + δ ‖ b ‖_{1}

$f(b) = \frac{1}{2} \|y - Xb\|^2 + \frac{1}{2} \gamma \|b\|^2 + \delta \|b\|_1$

Dies ist das von Ihnen beschriebene Ziel, wobei jedoch einige Parameter ersetzt wurden, um die Klarheit zu verbessern.

Herkömmlicherweise kann nur dann eine Lösung für das Optimierungsproblem wenn der Gradient bei Null ist. Der Term ist jedoch nicht glatt, so dass die Bedingung tatsächlich ist, dass im Subgradienten bei . $b=0$ $\min f(b)$ $b = 0$ $\|b\|_1$ $0$ $b = 0$

Der Subgradient von ist $f$

\partial f = - X^{T} (y - X b) + γ b + δ \partial ‖ b ‖_{1}

$\partial f = -X^T(y - Xb) + \gamma b + \delta \partial \|b\|_1$

wobei den Subgradienten in Bezug auf . Bei wird dies $\partial$ $b$ $b=0$

\partial f |_{b = 0} = - X^{T} y + δ [- 1, 1]^{d}

$\partial f|_{b=0} = -X^Ty + \delta[-1, 1]^d$

Dabei ist die Dimension von und a ein dimensionaler Würfel. Damit das Optimierungsproblem eine Lösung von , muss es so sein $d$ $b$ $[-1,1]^d$ $d$ $b = 0$

(X^{T} y)_{i} \in δ [- 1, 1]

$(X^Ty)_i \in \delta [-1, 1]$

für jede Komponente . Dies entspricht $i$

δ > max_{i} | \sum_{j} y_{j} X_{i j} |

$\delta > \max_i \left|\sum_j y_j X_{ij} \right|$

Dies ist die Definition, die Sie für . Wenn jetzt eingetauscht wird, fällt die Formel oben im Beitrag heraus. $\lambda_\text{max}$ $\delta = (1-\alpha)\lambda$

— Andy Jones
quelle