Ich führe mithilfe des glmnetPakets in R eine elastisch-net logistische Regression für einen Datensatz im Gesundheitswesen durch, indem ich Lambda-Werte über ein Raster von von 0 bis 1 auswähle . Mein abgekürzter Code lautet wie folgt:$\alpha$

alphalist <- seq(0,1,by=0.1)
elasticnet <- lapply(alphalist, function(a){
  cv.glmnet(x, y, alpha=a, family="binomial", lambda.min.ratio=.001)
})
for (i in 1:11) {print(min(elasticnet[[i]]$cvm))}

Dies gibt den durchschnittlichen kreuzvalidierten Fehler für jeden Wert von Alpha von bis mit einem Inkrement von :1,0 $0.0$$1.0$$0.1$

[1] 0.2080167
[1] 0.1947478
[1] 0.1949832
[1] 0.1946211
[1] 0.1947906
[1] 0.1953286
[1] 0.194827
[1] 0.1944735
[1] 0.1942612
[1] 0.1944079
[1] 0.1948874

Basierend auf dem, was ich in der Literatur gelesen habe, ist die optimale Wahl von wo der Lebenslauffehler minimiert wird. Die Fehler variieren jedoch stark im Bereich der Alphas. Ich sehe mehrere lokale Minimums mit einem globalen Minimumfehler von für .$\alpha$0.1942612alpha=0.8

Ist es sicher mit zu gehen alpha=0.8? Oder sollte ich angesichts der Variation cv.glmnetmit mehr Kreuzvalidierungsfalten (z. B. statt ) oder einer größeren Anzahl von Inkrementen zwischen und erneut ausführen , um ein klares Bild des Lebenslauffehlerpfads zu erhalten?10 $20$$10$$\alpha$alpha=0.01.0

Klären, was mit $\alpha$ und Elastic Net-Parametern gemeint ist

Unterschiedliche Terminologie und Parameter werden von verschiedenen Paketen verwendet, die Bedeutung ist jedoch im Allgemeinen gleich:

Das R-Paket Glmnet verwendet die folgende Definition

$\min_{\beta_0,\beta} \frac{1}{N} \sum_{i=1}^{N} w_i l(y_i,\beta_0+\beta^T x_i) + \lambda\left[(1-\alpha)||\beta||_2^2/2 + \alpha ||\beta||_1\right]$

Sklearn verwendet

$\min_{w} \frac{1}{2N} \sum_{i=1}^{N} ||y - Xw ||^2_2 + \alpha \times l_1 \text{ratio} ||w||_1 + 0.5 \times \alpha \times (1 - l_1 \text{ratio}) \times ||w||_2^2$

Es gibt auch alternative Parametrisierungen mit und .$a$$b$

Um Verwirrung zu vermeiden, werde ich anrufen

• $\lambda$ der Strafkraftparameter
• $L_1 \text{ratio}$ das Verhältnis zwischen der Strafe von und zwischen 0 (Kamm) und 1 (Lasso)$L_1$$L_2$

Visualisierung der Auswirkung der Parameter

Stellen Sie sich einen simulierten Datensatz vor, bei dem aus einer verrauschten Sinuskurve besteht und ein zweidimensionales Merkmal ist, das aus und . Aufgrund der Korrelation zwischen und die Kostenfunktion ein enges Tal.$y$$X$$X_1 = x$$X_2 = x^2$$X_1$$X_2$

Die folgenden Grafiken veranschaulichen den Lösungsweg der elastischen Netzregression mit zwei verschiedenen Verhältnisparametern als Funktion von dem Stärkeparameter .$L_1$$\lambda$

• Für beide Simulationen gilt: Wenn ist die Lösung die OLS-Lösung unten rechts mit der zugehörigen talförmigen Kostenfunktion.$\lambda = 0$
• Wenn zunimmt, setzt die Regularisierung ein und die Lösung tendiert zu$\lambda$$(0,0)$
• Der Hauptunterschied zwischen den beiden Simulationen ist der Verhältnisparameter.$L_1$
• LHS : Für ein kleines Verhältnis die regulierte Kostenfunktion stark der Ridge-Regression mit runden Konturen.$L_1$
• RHS : Für ein großes Verhältnis die Kostenfunktion stark der Lasso-Regression mit den typischen Diamantformkonturen.$L_1$
• Für ein mittleres Verhältnis (nicht gezeigt) ist die Kostenfunktion eine Mischung aus beiden$L_1$

Die Wirkung der Parameter verstehen

Das ElasticNet wurde eingeführt, um einige der Einschränkungen des Lasso zu überwinden:

• Gibt es mehr Variablen als Datenpunkte , , wählt das Lasso höchstens Variablen aus.$p$$n$$p>n$$n$
• Lasso führt keine Gruppenauswahl durch, insbesondere bei Vorhandensein korrelierter Variablen. Es wird dazu tendieren, eine Variable aus einer Gruppe auszuwählen und die anderen zu ignorieren

Durch die Kombination einer und einer quadratischen Strafe erhalten wir die Vorteile von beiden:$L_1$$L_2$

• $L_1$ erzeugt ein spärliches Modell
• $L_2$ hebt die Beschränkung der Anzahl der ausgewählten Variablen auf, fördert die Gruppierung und stabilisiert den Regularisierungspfad.$L_1$

Sie können dies visuell im obigen Diagramm sehen, die Singularitäten an den Eckpunkten fördern die Sparsamkeit , während die strengen konvexen Kanten die Gruppierung fördern .

Hier ist eine Visualisierung von Hastie (dem Erfinder von ElasticNet)

Weitere Lektüre

• https://web.stanford.edu/~hastie/Papers/B67.2%20(2005)%20301-320%20Zou%20&%20Hastie.pdf
• https://www.researchgate.net/profile/Federico_Andreis/publication/321106005_Shrinkage_methods_ridge_lasso_elastic_nets/links/5a0da3d7aca2729b1f4eeabb/Shrinkage-methods-ridge-lasso-elastic-nets.pdf
• https://web.stanford.edu/~hastie/TALKS/enet_talk.pdf

Lassen Sie mich trotz des Alters der Frage einige sehr praktische Bemerkungen hinzufügen. Da ich kein R-Benutzer bin, kann ich keinen Code sprechen lassen, aber es sollte trotzdem verständlich sein.

1. Normalerweise sollten Sie nur die Hyperparameter (hier: ) mit dem besten CV-Score auswählen . Alternativ können Sie die besten Modelle auswählen und durch arithmetische Mittelung der Entscheidungsfunktion ein Ensemble . Dies erhöht natürlich die Laufzeitkomplexität. Hinweis: Manchmal funktioniert die geometrische Mittelung besser. . Ich nehme an, dass dies auf eine glattere Entscheidungsgrenze zurückzuführen ist.$\alpha$$k$$f_1, ..., f_k$$f(x) = \frac{1}{k}\sum_i{f_i(x)}$$f(x) = \sqrt[k]{\prod_{i=1}^k{f_i(x)}}$

2. Ein Vorteil des Resamplings ist, dass Sie die Reihenfolge der Testergebnisse überprüfen können. Dies sind die Ergebnisse des Lebenslaufs. Sie sollten immer nicht nur den Durchschnitt betrachten, sondern auch die Standardabweichung (sie ist nicht normalverteilt, aber Sie verhalten sich so). Normalerweise wird dieser Wert aus Genauigkeitsgründen als 65,5% (± 2,57%) angezeigt. Auf diese Weise können Sie feststellen, ob die "kleinen Abweichungen" eher zufällig oder strukturell sind. Besser wäre es sogar, die kompletten Sequenzen zu inspizieren . Wenn es aus irgendeinem Grund immer eine Falte gibt, sollten Sie die Art und Weise, wie Sie Ihre Trennung vornehmen, überdenken (dies deutet auf eine fehlerhafte Versuchsanordnung hin, auch: Mischen Sie?). In scikit-learn the GridSearchCVstores erfahren Sie Details zu den Fold-Anforderungen in cv_results_( siehe hier ).

3. In Bezug auf das : Je höher es ist, desto mehr hat Ihr elastisches Netz die Sparsity-Funktion. Sie können die Gewichte der resultierenden Modelle überprüfen. Je höher ist, desto mehr wird auf Null gesetzt. Es ist ein nützlicher Trick, die Attribute mit einer auf Null gesetzten Gewichtung aus Ihrer Pipeline zu entfernen (dies verbessert die Laufzeitleistung dramatisch). Ein weiterer Trick besteht darin, das elastische für die Merkmalsauswahl zu verwenden und anschließend eine Variante zu . In der Regel führt dies zu einer dramatischen Steigerung der Modellleistung, da die Wechselbeziehungen zwischen den Features herausgefiltert wurden.$\alpha$$L_1$$\alpha$$L_2$