Ich habe einmal eine Methode gehört, das Lasso zweimal zu verwenden (wie ein Doppel-Lasso), bei der Sie Lasso für die ursprüngliche Menge von Variablen ausführen, z. B. S1, eine dünn besetzte Menge mit der Bezeichnung S2 erhalten und dann erneut Lasso für die Menge S2 ausführen, um die Menge S3 zu erhalten . Gibt es dafür einen methodischen Begriff? Was sind die Vorteile von zweimaligem Lasso?
Antworten:
Ja, das Verfahren, um das Sie bitten (oder an das Sie denken), heißt entspanntes Lasso .
Die allgemeine Idee ist, dass Sie beim ersten Durchführen des LASSO wahrscheinlich "Geräuschvariablen" einbeziehen. Das Durchführen des LASSO mit einem zweiten Satz von Variablen (nach dem ersten LASSO) führt zu einer geringeren Konkurrenz zwischen Variablen, die "echte Konkurrenten" sind, um Teil des Modells zu sein, und nicht nur "Rausch" -Variablen. Technisch zielt diese Methode darauf ab, die (bekannte) langsame Konvergenz des LASSO in Datensätzen mit einer großen Anzahl von Variablen zu überwinden.
Lesen Sie mehr darüber auf der Originalarbeit von Meinshausen (2007) .
Ich empfehle auch Abschnitt 3.8.5 über die Elemente des statistischen Lernens (Hastie, Tibshirani & Friedman, 2008) , der einen Überblick über andere sehr interessante Methoden zur Durchführung der Variablenauswahl mit dem LASSO gibt.
Die Idee ist, die zwei Effekte von Lasso zu trennen
Die Idee des entspannten Lassos ist, dass Sie die beiden Effekte trennen: Sie verwenden eine hohe Strafe beim ersten Durchgang, um Variablen auszuwählen; und eine kleinere Strafe beim zweiten Durchgang, um sie um einen kleineren Betrag zu verkleinern.
Das Originalpapier (wie von Néstor verlinkt) enthält weitere Einzelheiten.