Statistiken und Big Data elastic-net

2

Was ist elastische Netzregulierung und wie werden die Nachteile von Ridge ( ) und Lasso ( ) behoben?

Wird die elastische Netz-Regularisierung immer Lasso & Ridge vorgezogen, da sie die Nachteile dieser Methoden zu beseitigen scheint? Was ist die Intuition und was ist die Mathematik hinter dem elastischen Netz?

35 regression lasso regularization ridge-regression elastic-net

4

Kamm, Lasso und elastisches Netz

Wie vergleichen sich Ridge-, LASSO- und Elasticnet-Regularisierungsmethoden? Was sind ihre jeweiligen Vor- und Nachteile? Gute technische Artikel oder Vorlesungsunterlagen sind ebenfalls willkommen.

33 references lasso regularization ridge-regression elastic-net

1

Merkmalsauswahl & Modell mit GLMnet auf Methylierungsdaten (p >> N)

Ich möchte GLM und Elastic Net verwenden, um die relevanten Features auszuwählen und ein lineares Regressionsmodell zu erstellen (dh sowohl Vorhersage als auch Verständnis, daher ist es besser, relativ wenige Parameter zu haben). Die Ausgabe erfolgt kontinuierlich. Es sind Gene pro Fälle. Ich habe über das Paket gelesen , bin …

29 r regularization glmnet elastic-net underdetermined

2

Anpassen eines ARIMAX-Modells mit Regularisierung oder Bestrafung (z. B. mit Lasso, elastischem Netz oder Kammregression)

Ich verwende die auto.arima () -Funktion im Vorhersagepaket , um ARMAX-Modelle mit einer Vielzahl von Kovariaten zu kombinieren. Ich habe jedoch oft eine große Anzahl von Variablen zur Auswahl und erhalte normalerweise ein endgültiges Modell, das mit einer Teilmenge von ihnen funktioniert. Ich mag keine Ad-hoc-Techniken für die Variablenauswahl, weil …

29 r time-series lasso regularization elastic-net

1

Warum verwendet glmnet ein "naives" elastisches Netz aus dem Originalpapier von Zou & Hastie?

Das ursprüngliche elastische Netzpapier Zou & Hastie (2005) Regularisierung und Variablenauswahl über das elastische Netz führten die elastische Nettoverlustfunktion für die lineare Regression ein (hier gehe ich davon aus, dass alle Variablen zentriert und auf die Einheitsvarianz skaliert sind): L=1n∥∥y−Xβ∥∥2+λ1∥β∥1+λ2∥β∥22,L=1n‖y−Xβ‖2+λ1‖β‖1+λ2‖β‖22,\mathcal L = \frac{1}{n}\big\lVert y - X\beta\big\rVert^2 + \lambda_1\lVert \beta\rVert_1 + …

27 regression regularization glmnet elastic-net shrinkage

2

Warum ist Lambda „innerhalb eines Standardfehlers vom Minimum“ ein empfohlener Wert für Lambda in einer elastischen Netto-Regression?

Ich verstehe, welche Rolle Lambda in einer elastischen Netzregression spielt. Und ich kann verstehen, warum man lambda.min auswählen würde, den Wert von lambda, der quervalidierte Fehler minimiert. Meine Frage ist, wo in der Statistikliteratur die Verwendung von Lambda.1se empfohlen wird, dh der Wert von Lambda, der den CV-Fehler plus einen …

23 regression cross-validation regularization glmnet elastic-net

1

Bridge Penalty vs. Elastic Net Regularisierung

Einige und Approximationen sind gut untersucht, wie zum Beispiel der LASSO ( ) und der Ridge ( ) und wie diese in der Regression verglichen werden.L 2L1L1L_1L2L2L_2 Ich habe über die Brückenstrafe gelesen, die die verallgemeinerte Strafe ist. Vergleichen Sie das mit dem LASSO mit \ gamma = 1 und …

22 regression lasso regularization ridge-regression elastic-net

3

Modellstabilität bei großen , kleinen Problemen

Intro: Ich habe einen Datensatz mit einem klassischen "großen p, kleinen n-Problem". Die Anzahl der verfügbaren Stichproben n = 150, während die Anzahl der möglichen Prädiktoren p = 400 ist. Das Ergebnis ist eine kontinuierliche Variable. Ich möchte die "wichtigsten" Deskriptoren finden, dh diejenigen, die die besten Kandidaten für die …

22 regression cross-validation model-selection feature-selection elastic-net

2

Auswahl des optimalen Alphas in der elastischen Netto-Logistik-Regression

Ich führe mithilfe des glmnetPakets in R eine elastisch-net logistische Regression für einen Datensatz im Gesundheitswesen durch, indem ich Lambda-Werte über ein Raster von von 0 bis 1 auswähle . Mein abgekürzter Code lautet wie folgt:αα\alpha alphalist <- seq(0,1,by=0.1) elasticnet <- lapply(alphalist, function(a){ cv.glmnet(x, y, alpha=a, family="binomial", lambda.min.ratio=.001) }) for …

22 machine-learning cross-validation glmnet elastic-net

2

Elastic / Ridge / Lasso-Analyse, was dann?

Ich interessiere mich sehr für das elastische Netzverfahren für das Schrumpfen / Selektieren des Prädiktors. Es scheint sehr mächtig zu sein. Aber aus wissenschaftlicher Sicht weiß ich nicht genau, was ich tun soll, wenn ich die Koeffizienten habe. Welche Frage beantworte ich? Dies sind die Variablen, die das Ergebnis am …

19 hypothesis-testing prediction inference lasso elastic-net

1

Gibt es eine klare Reihe von Bedingungen, unter denen Lasso, Grat oder elastische Netzlösungspfade monoton sind?

Die Frage, was aus diesem Lasso-Plot (glmnet) zu schließen ist, zeigt Lösungswege für den Lasso-Schätzer, die nicht monoton sind. Das heißt, einige der Cofficients nehmen im absoluten Wert zu, bevor sie schrumpfen. Ich habe diese Modelle auf verschiedene Arten von Datensätzen angewendet und dieses Verhalten noch nie "in freier Wildbahn" …

18 lasso ridge-regression elastic-net

1

Gibt es eine Bayes'sche Interpretation der linearen Regression mit simultaner L1- und L2-Regularisierung (auch bekannt als elastisches Netz)?

Es ist allgemein bekannt, dass eine lineare Regression mit einer 1 Strafe gleichbedeutend ist mit dem Finden der MAP-Schätzung, wenn ein Gaußscher Wert vor den Koeffizienten angegeben wird. In ähnlicher Weise ist die Verwendung einer Strafe gleichbedeutend mit der Verwendung einer Laplace-Verteilung wie zuvor.l 1l2l2l^2l1l1l^1 Es ist nicht ungewöhnlich, eine …

17 regression bayesian regularization prior elastic-net

1

Ist der R-Quadrat-Wert zum Vergleichen von Modellen geeignet?

Ich versuche, das beste Modell zu finden, um die Preise für Automobile vorherzusagen. Dabei verwende ich die Preise und Funktionen, die auf Websites für Kleinanzeigen für Automobile verfügbar sind. Dazu verwendete ich einige Modelle aus der Scikit-Learn-Bibliothek und neuronale Netzwerkmodelle aus Pybrain und Neurolab. Der Ansatz, den ich bisher verwendet …

17 machine-learning neural-networks random-forest r-squared elastic-net

3

Verwendung der Regularisierung bei statistischen Inferenzen

Ich kenne die Vorteile der Regularisierung bei der Erstellung von Vorhersagemodellen (Bias vs. Varianz, Vermeidung von Überanpassung). Aber ich frage mich, ob es eine gute Idee ist, auch Regularisierungen durchzuführen (Lasso, Grat, elastisches Netz), wenn der Hauptzweck des Regressionsmodells darin besteht, auf die Koeffizienten zu schließen (zu sehen, welche Prädiktoren …

17 inference lasso ridge-regression elastic-net selectiveinference

2

Warum Lasso oder ElasticNet besser abschneiden als Ridge, wenn die Merkmale miteinander korrelieren

Ich habe 150 Funktionen, von denen viele stark miteinander korreliert sind. Mein Ziel ist es, den Wert einer diskreten Variablen vorherzusagen, deren Bereich 1-8 ist . Meine Stichprobengröße beträgt 550 und ich verwende die 10-fache Kreuzvalidierung. AFAIK: Unter den Regularisierungsmethoden (Lasso, ElasticNet und Ridge) ist Ridge strenger in Bezug auf …

16 regression lasso regularization ridge-regression elastic-net

Als «elastic-net» getaggte Fragen