Als «lasso» getaggte Fragen

Eine Regularisierungsmethode für Regressionsmodelle, bei der die Koeffizienten gegen Null verkleinert werden und einige von ihnen gleich Null sind. Somit führt Lasso eine Merkmalsauswahl durch.

3
LASSO mit Interaktionsbegriffen - ist es in Ordnung, wenn die Haupteffekte auf Null geschrumpft sind?
Die LASSO-Regression verringert die Koeffizienten auf Null und bietet so eine effektive Modellauswahl. Ich glaube, dass es in meinen Daten bedeutsame Wechselwirkungen zwischen nominalen und kontinuierlichen Kovariaten gibt. Nicht unbedingt sind jedoch die "Haupteffekte" des wahren Modells aussagekräftig (nicht Null). Natürlich weiß ich das nicht, da das wahre Modell unbekannt …
2
Bayesianisches Lasso gegen gewöhnliches Lasso
Für Lasso stehen verschiedene Implementierungssoftware zur Verfügung . Ich kenne eine Menge Diskussionen über Bayes-Ansätze im Vergleich zu frequentistischen Ansätzen in verschiedenen Foren. Meine Frage ist sehr spezifisch für Lasso - Was sind die Unterschiede oder Vorteile von Bay-Lasso gegenüber regulärem Lasso ? Hier sind zwei Beispiele für die Implementierung …
3
Warum geben Lars und Glmnet unterschiedliche Lösungen für das Lasso-Problem?
Ich möchte die R-Pakete Larsund Glmnet, die zur Lösung des Lasso-Problems verwendet werden , besser verstehen : (für Variablen und Stichproben, siehe www.stanford.edu/~hastie/Papers/glmnet.pdf auf Seite 3)pm i n( β0β) ∈ Rp + 1[ 12 N∑i = 1N( yich- β0- xTichβ)2+ λ | | β| |l1]michn(β0β)∈Rp+1[12N∑ich=1N(yich-β0-xichTβ)2+λ||β||l1]min_{(\beta_0 \beta) \in R^{p+1}} \left[\frac{1}{2N}\sum_{i=1}^{N}(y_i-\beta_0-x_i^T\beta)^2 + …
1
Wenn das LASSO einer linearen Regression mit einem Laplace entspricht, wie kann es Masse auf Mengen mit Komponenten bei Null geben?
Wir alle kennen die in der Literatur gut dokumentierte Vorstellung, dass die LASSO-Optimierung (der Einfachheit halber hier auf den Fall der linearen Regression beschränkt) ist äquivalent zu dem linearen Modell mit Gaußschen Fehlern, bei dem die Parameter mit dem Laplace-Prioritätswert sind. , je größer der Anteil der Parameter ist, desto …
5
Müssen wir immer noch Features auswählen, während wir Regularisierungsalgorithmen verwenden?
Ich habe eine Frage zum Erfordernis, Merkmalsauswahlmethoden (Wichtigkeitswert für zufällige Gesamtstrukturen oder Auswahlmethoden für univariate Merkmale usw.) zu verwenden, bevor ein statistischer Lernalgorithmus ausgeführt wird. Wir wissen, dass wir Regularisierungsstrafen für die Gewichtsvektoren einführen können, um eine Überanpassung zu vermeiden. Wenn ich also eine lineare Regression durchführen möchte, könnte ich …
2
KKT versus uneingeschränkte Formulierung der Lasso-Regression
Die bestrafte L1-Regression (auch bekannt als Lasso) wird in zwei Formulierungen dargestellt. Die beiden Zielfunktionen seien Dann sind die beiden unterschiedlichen Formulierungen ArgminβQ1=12||Y−Xβ||22Q2=12||Y−Xβ||22+λ||β||1.Q1=12||Y−Xβ||22Q2=12||Y−Xβ||22+λ||β||1. Q_1 = \frac{1}{2}||Y - X\beta||_2^2 \\ Q_2 =\frac{1}{2}||Y - X\beta||_2^2 + \lambda ||\beta||_1. vorbehaltlich | | β | | 1 ≤ t , und,äquivalenten argmin βargminβQ1argminβQ1 \text{argmin}_\beta …
2
Schätzung der quadratischen und statistischen Signifikanz anhand des bestraften Regressionsmodells
Ich benutze das R-Paket bestraft , um geschrumpfte Koeffizientenschätzungen für einen Datensatz zu erhalten, bei dem ich viele Prädiktoren und wenig Wissen darüber habe, welche wichtig sind. Gibt es, nachdem ich die Abstimmungsparameter L1 und L2 ausgewählt und mit meinen Koeffizienten zufrieden bin, eine statistisch fundierte Möglichkeit, die Modellanpassung mit …
2
Wie macht es Sinn, OLS nach der LASSO-Variablenauswahl durchzuführen?
Kürzlich habe ich festgestellt, dass es in der angewandten ökonometrischen Literatur nicht ungewöhnlich ist, LASSO durchzuführen, gefolgt von einer OLS-Regression unter Verwendung der ausgewählten Variablen. Ich habe mich gefragt, wie wir die Gültigkeit eines solchen Verfahrens beurteilen können. Wird es Probleme wie ausgelassene Variablen verursachen? Gibt es Beweise dafür, dass …
1
Was ist aus dieser Lasso-Handlung (glmnet) zu schließen?
Es folgt die Darstellung von glmnet mit dem Standard-Alpha (1, daher Lasso) unter Verwendung des mtcarsDatensatzes in R mit mpgals DV und anderen als Prädiktorvariablen. glmnet(as.matrix(mtcars[-1]), mtcars[,1]) Was können wir aus dieser Handlung in Bezug auf verschiedene Variablen schließen, vor allem am, cylund wt(rot, schwarz und hellblaue Linien)? Wie würden …
2
Leidet LASSO an den gleichen Problemen wie die schrittweise Regression?
Stufenweise algorithmische Variablenauswahlmethoden neigen dazu, Modelle auszuwählen, die mehr oder weniger jede Schätzung in Regressionsmodellen beeinflussen ( s und ihre SEs, p- Werte, F- Statistiken usw.), und schließen mit etwa der gleichen Wahrscheinlichkeit echte Prädiktoren aus wie schließen falsche Prädiktoren gemäß einer einigermaßen ausgereiften Simulationsliteratur ein.ββ\beta Leidet der LASSO bei …
1
Gibt es eine klare Reihe von Bedingungen, unter denen Lasso, Grat oder elastische Netzlösungspfade monoton sind?
Die Frage, was aus diesem Lasso-Plot (glmnet) zu schließen ist, zeigt Lösungswege für den Lasso-Schätzer, die nicht monoton sind. Das heißt, einige der Cofficients nehmen im absoluten Wert zu, bevor sie schrumpfen. Ich habe diese Modelle auf verschiedene Arten von Datensätzen angewendet und dieses Verhalten noch nie "in freier Wildbahn" …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.