Kreuzvalidierung für elastische Netzregression: Quadratischer Fehler vs. Korrelation auf dem Testsatz

Betrachten Sie die elastische Netzregression mit einer glmnetähnlichen Parametrisierung der VerlustfunktionIch habe einen Datensatz mit (44 bzw. 3000) und verwende eine wiederholte 11-fache Kreuzvalidierung, um die optimalen Regularisierungsparameter und auszuwählen . Normalerweise würde ich einen quadratischen Fehler als Leistungsmetrik für den Testsatz verwenden, z. B. diese R-quadratische Metrik:

L = \frac{1}{2 n} ‖ y - β_{0} - X β ‖^{2} + λ (α ‖ β ‖_{1} + (1 - α) ‖ β ‖_{2}^{2} / 2) .

$\mathcal L = \frac{1}{2n}\big\lVert y - \beta_0-X\beta\big\rVert^2 + \lambda\big(\alpha\lVert \beta\rVert_1 + (1-\alpha) \lVert \beta\rVert^2_2/2\big).$

n ≪ p

$n\ll p$

α

$\alpha$

λ

$\lambda$

L_{test} = 1 - \frac{‖ y_{test} - {\hat{β}}_{0} - X_{test} \hat{β} ‖^{2}}{‖ y_{test} - {\hat{β}}_{0} ‖^{2}},

$L_\text{test} = 1-\frac{\lVert y_\text{test} - \hat\beta_0 - X_\text{test}\hat\beta\rVert^2}{\lVert y_\text{test} - \hat\beta_0\rVert^2},$ Diesmal habe ich aber auch versucht, eine Korrelationsmetrik zu verwenden (beachten Sie, dass für die nicht regulierte OLS-Regression die Minimierung des quadratischen Fehlerverlusts der Maximierung der Korrelation entspricht):

L_{test} = corr (y_{test}, X_{test} \hat{β}) .

$L_\text{test}=\operatorname{corr}(y_\text{test}, X_\text{test}\hat\beta).$

Es ist klar, dass diese beiden Leistungsmetriken nicht genau gleichwertig sind, aber seltsamerweise stimmen sie nicht ganz überein:

Beachten Sie insbesondere, was bei kleinen Alphas passiert, z. B. $\alpha=.2$ (grüne Linie): Die maximale Testsatzkorrelation wird erreicht, wenn der Testsatz $R^2$ im Vergleich zu seinem Maximum ziemlich stark abfällt. Im Allgemeinen scheint für jedes gegebene $\alpha$ Korrelation bei einem größeren $\lambda$ als einem quadratischen Fehler maximiert zu sein .

Warum passiert es und wie geht man damit um? Welches Kriterium sollte bevorzugt werden? Hat jemand diesen Effekt erlebt?

— Amöbe
quelle

Sind die CV-Falten in jedem Experiment genau gleich?

— Alexey Burnakov

@ AlexanderBurnakov Ja. Die Loop-Over-Regularisierungsparameter befinden sich innerhalb der Loop-Over-Falten.

— Amöbe

Wenn die Modelle in beiden Diagrammen auch gleich sind, würde ich sagen, dass die Ergebnisse erst dann sinnvoll sind, wenn ein Fehler in der Berechnung vorliegt. Ich habe Elasticnet ausprobiert, aber nicht mit diesen Leistungsmetriken.

— Alexey Burnakov

Tatsächlich wird mit CV die Verlustmetrik über Testfalten gemittelt, und in Ihrem Fall muss R ^ 2 nicht genau zur Korrelation ^ 2 passen, oder? Vielleicht liegt die Diskrepanz darin, dass die Werte beider Verlustmetriken über die CV-Testfalten hinweg sehr ungleichmäßig sind? ZB 0,5, 0,9, 0,1, 0,99, 0,05, welche Mittelung würde am Ende eine bizarre Zahl ergeben, die mit der der anderen völlig nicht übereinstimmt?

— Alexey Burnakov

Ich bin mir nicht sicher, was du damit gemeint hast @AlexeyBurnakov. Aber auf jeden Fall siehe die Antwort, die ich gerade gepostet habe.

— Amöbe

Ich glaube, ich habe herausgefunden, was hier passiert ist.

Beachten Sie, dass der Korrelationswert nicht von der Länge von abhängt . Wenn also die Testkorrelation weiter zunimmt, während das Test-R-Quadrat abfällt, kann dies darauf hinweisen, dass nicht optimal ist und eine Skalierung von um einen Skalarfaktor hilfreich sein kann. $\hat\beta$ $\lVert\hat\beta\rVert$ $\hat\beta$

Nachdem ich dies erkannt hatte, erinnerte ich mich daran, dass es in der Literatur mehrere Behauptungen gab, dass elastisches Netz und sogar Lasso allein die Koeffizienten "überschrumpfen". Für Lasso gibt es das "entspannte Lasso" -Verfahren, mit dem diese Tendenz geändert werden soll: Siehe Vorteile des "Doppel-Lassos" oder der zweimaligen Durchführung von Lasso? . Für elastische Netze befürwortete das Originalpapier von Zou & Hastie 2005 tatsächlich eine Hochskalierung von um einen konstanten Faktor. Siehe Warum verwendet glmnet ein "naives" elastisches Netz von Originalpapier von Zou & Hastie? . Eine solche Skalierung würde den Korrelationswert nicht ändern, sondern das R-Quadrat beeinflussen. $\hat\beta$

Wenn ich die heuristische Skalierung von Zou & Hastie ich das folgende Ergebnis:

{\hat{β}}^{*} = (1 + λ (1 - α)) \hat{β},

$\hat\beta^* = \big(1+\lambda(1-\alpha)\big)\hat\beta,$

Hier sind die durchgezogenen Linien die gleichen wie in der Abbildung in meiner Frage, während die gestrichelten Linien im linken Teilplot die neu skalierte Beta verwenden. Jetzt werden beide Metriken durch ungefähr die gleichen Werte von und maximiert . $\alpha$ $\lambda$

Magie!

— Amöbe
quelle

Gut gemacht! Subtil ...

— Matthew Drury