Statistiken und Big Data lasso

1

Wie skaliert Lasso mit der Größe der Designmatrix?

Wenn ich ein Design haben Matrix , wobei n die Anzahl der Beobachtungen der Dimension d , was die Komplexität der Lösung für β = argmin β 1X.∈ R.n × dX∈Rn×dX\in\mathcal{R}^{n\times d}nnndddmit LASSO, wrtnundd? Ich denke, die Antwort sollte sich darauf beziehen, wieeineLASSO-Iteration mit diesen Parametern skaliert, und nicht darauf, …

10 optimization lasso regularization time-complexity

3

Was bedeuten Statistiker, wenn sie sagen, wir verstehen nicht wirklich, wie die LASSO (Regularisierung) funktioniert?

Ich war kürzlich bei einigen Statistikgesprächen über das Lasso (Regularisierung) und ein Punkt, der immer wieder auftaucht, ist, dass wir nicht wirklich verstehen, warum das Lasso funktioniert oder warum es so gut funktioniert. Ich frage mich, worauf sich diese Aussage bezieht. Natürlich verstehe ich, warum das Lasso technisch funktioniert, um …

10 machine-learning lasso regularization

2

Testen auf Koeffizientensignifikanz in der Lasso-Logistikregression

[Eine ähnliche Frage wurde hier ohne Antworten gestellt] Ich habe ein logistisches Regressionsmodell mit L1-Regularisierung (Lasso-logistische Regression) angepasst und möchte die angepassten Koeffizienten auf Signifikanz testen und ihre p-Werte erhalten. Ich weiß, dass Walds Tests (zum Beispiel) eine Option sind, um die Signifikanz einzelner Koeffizienten in vollständiger Regression ohne Regularisierung …

10 logistic statistical-significance regression-coefficients lasso

1

Wie führt man eine Kreuzvalidierung mit cv.glmnet durch (LASSO-Regression in R)?

Ich frage mich, wie ich ein LASSO-Modell mit glmnet in R richtig trainieren und testen soll. Insbesondere frage ich mich, wie ich dies tun soll, wenn das Fehlen eines externen Testdatensatzes die Kreuzvalidierung (oder einen ähnlichen Ansatz) zum Testen meines LASSO-Modells erfordert . Lassen Sie mich mein Szenario aufschlüsseln: Ich …

10 r cross-validation glmnet lasso

2

Verwenden von LASSO nur zur Funktionsauswahl

In meiner maschinellen Lernen Klasse haben wir gelernt , wie ist LASSO Regression sehr gut Merkmalsauswahl durchführen, da es die Verwendung von macht Regularisierung.l1l1l_1 Meine Frage: Verwenden Benutzer das LASSO-Modell normalerweise nur zur Funktionsauswahl (und speichern diese Funktionen dann in einem anderen Modell für maschinelles Lernen) oder verwenden sie normalerweise …

10 feature-selection lasso regression-strategies

4

Wie gehe ich mit fehlenden Werten um, um Daten für die Merkmalsauswahl mit LASSO vorzubereiten?

Meine Situation: kleine Stichprobengröße: 116 binäre Ergebnisvariable lange Liste erklärender Variablen: 44 erklärende Variablen kamen nicht von oben; Ihre Wahl basierte auf der Literatur. Die meisten Fälle in der Stichprobe und die meisten Variablen haben fehlende Werte. Ansatz für die ausgewählte Funktionsauswahl: LASSO Mit dem glmnet-Paket von R kann ich …

10 r spss lasso data-imputation

2

Überlegenheit von LASSO gegenüber Vorwärtsauswahl / Rückwärtseliminierung in Bezug auf den Kreuzvalidierungs-Vorhersagefehler des Modells

Ich habe drei reduzierte Modelle von einem Original-Vollmodell mit erhalten Vorauswahl Rückwärtseliminierung L1 Bestrafungstechnik (LASSO) Für die Modelle, die unter Verwendung von Vorwärtsauswahl / Rückwärtseliminierung erhalten wurden, erhielt ich die kreuzvalidierte Schätzung des Vorhersagefehlers unter Verwendung des CVlmin DAAGverfügbaren Pakets in R. Für das über LASSO ausgewählte Modell habe ich …

10 cross-validation model-selection lasso stepwise-regression

3

Verwirrung in Bezug auf elastisches Netz

Ich habe diesen Artikel über elastisches Netz gelesen. Sie sagen, dass sie ein elastisches Netz verwenden, denn wenn wir nur Lasso verwenden, wird tendenziell nur ein Prädiktor unter den Prädiktoren ausgewählt, die stark korreliert sind. Aber wollen wir das nicht? Ich meine, es erspart uns die Mühe der Multikollinearität, nicht …

10 regression lasso elastic-net

1

Wie wählt LASSO unter kollinearen Prädiktoren aus?

Ich suche nach einer intuitiven Antwort, warum ein GLM LASSO-Modell einen bestimmten Prädiktor aus einer Gruppe stark korrelierter auswählt und warum dies anders ist als die Auswahl der besten Teilmengenfunktionen. Aus der in Abb. 2 in Tibshirani 1996 gezeigten Geometrie des LASSO gehe ich davon aus, dass LASSO den Prädiktor …

10 feature-selection lasso

1

Passt „glmnet“ in R zu einem Achsenabschnitt?

Ich passe ein lineares Modell in R an glmnet. Das ursprüngliche (nicht regulierte) Modell wurde unter Verwendung von angepasst lmund hatte keinen konstanten Term (dh es war in der Form lm(y~0+x1+x2,data)). glmnetnimmt eine Matrix von Prädiktoren und einen Vektor von Antworten. Ich habe die glmnetDokumentation gelesen und kann den konstanten …

10 r regression lasso

3

Wie führe ich eine nicht negative Gratregression durch?

Wie führe ich eine nicht negative Gratregression durch? Nicht-negatives Lasso ist in verfügbar scikit-learn, aber für Ridge kann ich die Nicht-Negativität von Betas nicht erzwingen, und tatsächlich erhalte ich negative Koeffizienten. Weiß jemand warum das so ist? Kann ich Ridge auch in Bezug auf reguläre kleinste Quadrate implementieren? Dies wurde …

10 regression lasso regularization ridge-regression

2

Verwenden Sie LASSO für die Variablenauswahl und anschließend Logit

Ich weiß, dass dies die statistische Schlussfolgerung trüben würde, aber es geht mir wirklich nur darum, einem genauen Modell so nahe wie möglich zu kommen. Ich habe eine dichotome Ergebnisvariable mit einer großen Anzahl dichotomer Prädiktoren. Ich denke, ich möchte versuchen, mit LASSO auszuwählen, welche Variablen in mein Modell aufgenommen …

10 model-selection lasso logit

1

Hochdimensionale, korrelierte Daten und Top-Merkmale / Kovariaten entdeckt; Testen mehrerer Hypothesen?

Ich habe einen Datensatz mit ungefähr 5.000 häufig korrelierten Merkmalen / Kovariaten und einer binären Antwort. Die Daten wurden mir gegeben, ich habe sie nicht gesammelt. Ich benutze Lasso und Gradientenverstärkung, um Modelle zu bauen. Ich verwende iterierte, verschachtelte Kreuzvalidierung. Ich berichte über Lassos größte (absolute) 40 Koeffizienten und die …

9 machine-learning multiple-comparisons regression-coefficients lasso high-dimensional

2

Standardisierung vs. Normalisierung für Lasso / Ridge-Regression

Ich bin mir bewusst, dass es gängige Praxis ist, die Merkmale für die Ridge- und Lasso-Regression zu standardisieren. Wäre es jedoch jemals praktischer, die Merkmale auf einer (0,1) -Skala als Alternative zur Z-Score-Standardisierung für diese Regressionsmethoden zu normalisieren?

9 normalization lasso standardization ridge-regression

1

Multivariate lineare Regression mit Lasso in r

Ich versuche, ein reduziertes Modell zu erstellen, um viele abhängige Variablen (DV) (~ 450) vorherzusagen, die stark korreliert sind. Meine unabhängigen Variablen (IV) sind ebenfalls zahlreich (~ 2000) und stark korreliert. Wenn ich das Lasso verwende, um ein reduziertes Modell für jede Ausgabe einzeln auszuwählen, wird nicht garantiert, dass ich …

9 r lasso multivariate-regression

Als «lasso» getaggte Fragen