Statistiken und Big Data lasso

1

LARS gegen Koordinatenabstieg für das Lasso

Welche Vor- und Nachteile hat die Verwendung von LARS [1] im Vergleich zur Verwendung der Koordinatenabsenkung für die Anpassung der L1-regulierten linearen Regression? Ich interessiere mich hauptsächlich für Leistungsaspekte (meine Probleme sind Nin der Regel Hunderttausende und p<20). Es sind jedoch auch andere Erkenntnisse erwünscht. edit: Seitdem ich die Frage …

13 regression lasso regularization regression references lasso regularization elastic-net r distributions aggregation clustering algorithms regression correlation modeling distributions time-series standard-deviation goodness-of-fit hypothesis-testing statistical-significance sample binary-data estimation random-variable interpolation distributions probability chi-squared predictor outliers regression modeling interaction

2

Warum Gruppen-Lasso anstelle von Lasso verwenden?

Ich habe gelesen, dass das Gruppen-Lasso für die Variablenauswahl und die Sparsamkeit in einer Gruppe von Variablen verwendet wird. Ich möchte die Intuition hinter dieser Behauptung kennen. Warum wird Gruppenlasso dem Lasso vorgezogen? Warum ist der Lösungsweg des Gruppen-Lassos nicht stückweise linear?

13 regression feature-selection lasso regularization

3

Nicht negative Lasso-Implementierung in R

Ich suche Open Source oder eine vorhandene Bibliothek, die ich nutzen kann. Soweit ich weiß, ist das glmnet-Paket nicht sehr einfach zu erweitern, um den nicht negativen Fall abzudecken. Ich kann mich irren, jeder mit irgendwelchen Ideen sehr geschätzt. Mit nicht negativ meine ich, dass alle Koeffizienten positiv sein müssen …

13 r lasso

2

Wann wählt LASSO korrelierte Prädiktoren aus?

Ich benutze das Paket 'lars' in R mit dem folgenden Code: > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + …

13 correlation feature-selection lasso regularization ridge-regression

1

Intuition für die Freiheitsgrade des LASSO

Zou u.a. "Auf den" Freiheitsgraden "des Lassos" (2007) zeigen, dass die Anzahl der Koeffizienten ungleich Null eine unvoreingenommene und konsistente Schätzung für die Freiheitsgrade des Lassos ist. Es scheint mir ein wenig eingängig zu sein. Angenommen, wir haben ein Regressionsmodell (wobei die Variablen den Mittelwert Null haben). y=βx+ε.y=βx+ε.y=\beta x + …

12 regression lasso degrees-of-freedom shrinkage

2

Lasso-Modifikation für LARS

Ich versuche zu verstehen, wie der Lars-Algorithmus modifiziert werden kann, um Lasso zu erzeugen. Obwohl ich LARS verstehe, kann ich die Lasso-Modifikation aus dem Artikel von Tibshirani et al. Nicht sehen. Insbesondere verstehe ich nicht, warum die Vorzeichenbedingung darin, dass das Vorzeichen der Nicht-Null-Koordinate mit dem Vorzeichen der aktuellen Korrelation …

12 lasso

2

Koordinatenabstieg für das Lasso oder elastische Netz

Gibt es gute Artikel oder Bücher, die sich mit der Verwendung von Koordinatenabstieg für L1 (Lasso) und / oder elastischer Netzregulierung für lineare Regressionsprobleme befassen?

12 regression references lasso regularization elastic-net

1

Aktualisierung des Lassos mit neuen Beobachtungen

Ich passe eine L1-regulierte lineare Regression an einen sehr großen Datensatz an (mit n >> p.). Die Variablen sind im Voraus bekannt, aber die Beobachtungen treffen in kleinen Stücken ein. Ich möchte das Lasso nach jedem Stück fit halten. Ich kann natürlich das gesamte Modell nach jedem neuen Satz von …

12 regression lasso

4

Wie wende ich die Methode der iterativ neu gewichteten kleinsten Quadrate (IRLS) auf das LASSO-Modell an?

Ich habe eine logistische Regression mit dem IRLS-Algorithmus programmiert . Ich möchte eine LASSO-Bestrafung anwenden , um automatisch die richtigen Funktionen auszuwählen. Bei jeder Iteration wird Folgendes gelöst: (XTWX)δβ^=XT(y−p)(XTWX)δβ^=XT(y−p)\mathbf{\left(X^TWX\right) \delta\hat\beta=X^T\left(y-p\right)} Sei eine nicht negative reelle Zahl. Ich bestrafe nicht den in The Elements of. Statistisches Lernen . Das Gleiche gilt …

12 logistic generalized-linear-model feature-selection lasso convex

4

Was führt dazu, dass Lasso bei der Funktionsauswahl instabil ist?

Bei der komprimierten Abtastung gibt es einen Satz, der garantiert, dass argmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc hat eine eindeutige, spärliche Lösungccc (siehe Anhang für weitere Details). Gibt es einen ähnlichen Satz für Lasso? Wenn es einen solchen Satz gibt, garantiert er …

12 regression self-study feature-selection lasso regularization

1

Warum ist R Squared mit LASSO kein gutes Maß für Regressionen?

Ich habe an mehreren Stellen gelesen, dass R Squared kein ideales Maß ist, wenn ein Modell mit LASSO angepasst wird. Mir ist jedoch nicht klar, warum das so ist. Können Sie außerdem die beste Alternative empfehlen?

12 regression lasso r-squared penalized

5

Ridge & LASSO Normen

Dieser Beitrag folgt diesem: Warum wird die Kammschätzung besser als die OLS, indem der Diagonale eine Konstante hinzugefügt wird? Hier ist meine Frage: Soweit ich weiß, verwendet die eine ℓ 2 -Norm (euklidischer Abstand). Aber warum verwenden wir das Quadrat dieser Norm? (Eine direkte Anwendung von ℓ 2 würde mit …

12 lasso regularization ridge-regression

3

Lasso vs. adaptives Lasso

LASSO und adaptives LASSO sind zwei verschiedene Dinge, richtig? (Für mich sehen die Strafen anders aus, aber ich überprüfe nur, ob ich etwas verpasse.) Wenn Sie allgemein von elastischem Netz sprechen, ist der Sonderfall LASSO oder adaptives LASSO? Welches macht das glmnet-Paket, vorausgesetzt Sie wählen alpha = 1? Adaptive LASSO …

12 lasso glmnet elastic-net oracle

3

Umgang mit NA-Werten in der Schrumpfungsmethode (Lasso) mit glmnet

Ich verwende "glmnet" für die Lasso-Regression in GWAS. Einige Varianten und Personen haben fehlende Werte und es scheint, dass glmnet fehlende Werte nicht verarbeiten kann. Gibt es dafür eine Lösung? oder gibt es ein anderes Paket, das fehlende Werte in der Lasso-Regression verarbeiten kann? Hier sind meine Skripte. > library(glmnet) …

12 missing-data lasso glmnet

2

Zeigen der Äquivalenz zwischen der regulierten Regression der

Gemäß den Referenzen Buch 1 , Buch 2 und Papier . Es wurde erwähnt, dass es eine Äquivalenz zwischen der regulierten Regression (Ridge, LASSO und Elastic Net) und ihren Einschränkungsformeln gibt. Ich habe mir auch Cross Validated 1 und Cross Validated 2 angesehen , aber ich kann keine klare Antwort …

11 regression optimization lasso ridge-regression elastic-net

Als «lasso» getaggte Fragen