Statistiken und Big Data lasso

2

LASSO und Grat aus der Bayes'schen Perspektive: Was ist mit den Stimmparametern?

Bestrafte Regressionsschätzer wie LASSO und Ridge sollen Bayes'schen Schätzern mit bestimmten Prioritäten entsprechen. Ich vermute (da ich nicht genug über Bayes'sche Statistiken weiß), dass für einen festen Abstimmungsparameter ein konkreter entsprechender Prior existiert. Nun würde ein Frequentist den Abstimmungsparameter durch Kreuzvalidierung optimieren. Gibt es ein bayesianisches Äquivalent dazu und wird …

17 bayesian lasso ridge-regression

1

Wie behandelt man kategoriale Prädiktoren in LASSO?

Ich führe ein LASSO mit einigen kategorialen und einigen kontinuierlichen Variablenprädiktoren. Ich habe eine Frage zu den kategorialen Variablen. Der erste Schritt, den ich verstehe, besteht darin, jeden von ihnen in Dummies zu zerlegen, sie für eine faire Bestrafung zu standardisieren und dann zurückzugehen. Für die Behandlung der Dummy-Variablen ergeben …

17 categorical-data regression-coefficients lasso intercept categorical-encoding

3

Kontinuierliche abhängige Variable mit ordinaler unabhängiger Variable

Wie passe ich ein lineares Modell an, wenn eine stetige abhängige Variable y und unabhängige Variablen einschließlich einer Ordinalvariablen X 1 gegeben sind R? Gibt es Papiere zu diesem Modelltyp?

17 r regression lasso ordinal-data predictor

3

Verwendung der Regularisierung bei statistischen Inferenzen

Ich kenne die Vorteile der Regularisierung bei der Erstellung von Vorhersagemodellen (Bias vs. Varianz, Vermeidung von Überanpassung). Aber ich frage mich, ob es eine gute Idee ist, auch Regularisierungen durchzuführen (Lasso, Grat, elastisches Netz), wenn der Hauptzweck des Regressionsmodells darin besteht, auf die Koeffizienten zu schließen (zu sehen, welche Prädiktoren …

17 inference lasso ridge-regression elastic-net selectiveinference

3

Inferenz nach Verwendung von Lasso zur Variablenauswahl

Ich verwende Lasso für die Merkmalsauswahl in einer relativ niedrigen Maßeinstellung (n >> p). Nach dem Anpassen eines Lasso-Modells möchte ich die Kovariaten mit Koeffizienten ungleich Null verwenden, um ein Modell ohne Abzug anzupassen. Ich mache das, weil ich unvoreingenommene Schätzungen haben möchte, die Lasso mir nicht geben kann. Ich …

17 regression feature-selection lasso unbiased-estimator

1

LASSO Annahmen

In einem LASSO-Regressionsszenario, in dem y= Xβ+ ϵy=Xβ+ϵy= X \beta + \epsilon , und die LASSO-Schätzungen sind durch das folgende Optimierungsproblem gegeben Mindestβ| | y- Xβ| | +τ| | β| |1minβ||y−Xβ||+τ||β||1 \min_\beta ||y - X \beta|| + \tau||\beta||_1 Gibt es irgendwelche Verteilungsannahmen bezüglich des ϵϵ\epsilon ? In einem OLS-Szenario würde …

17 regression lasso assumptions residuals

2

Warum schrumpft die Gratregression einige Koeffizienten nicht auf Null wie Lasso?

Bei der Erklärung der LASSO-Regression wird häufig das Diagramm eines Diamanten und eines Kreises verwendet. Es wird gesagt, dass, da die Form der Beschränkung in LASSO ein Diamant ist, die erhaltene Lösung der kleinsten Quadrate die Ecke des Diamanten berühren könnte, so dass dies zu einer Schrumpfung einer Variablen führt. …

16 regression lasso ridge-regression

1

Hochdimensionale Regression: Warum ist

Ich versuche, mich über die Forschung im Bereich der hochdimensionalen Regression zu informieren. wenn größer als ist, ist das . Es scheint, als würde der Begriff häufig als Konvergenzrate für Regressionsschätzer verwendet.n p > > n log p / npppnnnp > > np>>np >> nLogp / nLog⁡p/n\log p/n Zum Beispiel …

16 regression lasso convergence high-dimensional

2

Warum Lasso oder ElasticNet besser abschneiden als Ridge, wenn die Merkmale miteinander korrelieren

Ich habe 150 Funktionen, von denen viele stark miteinander korreliert sind. Mein Ziel ist es, den Wert einer diskreten Variablen vorherzusagen, deren Bereich 1-8 ist . Meine Stichprobengröße beträgt 550 und ich verwende die 10-fache Kreuzvalidierung. AFAIK: Unter den Regularisierungsmethoden (Lasso, ElasticNet und Ridge) ist Ridge strenger in Bezug auf …

16 regression lasso regularization ridge-regression elastic-net

1

Warum unterscheidet sich das „entspannte Lasso“ vom Standard-Lasso?

Wenn wir mit einer Datenmenge , Lasso anwenden und eine Lösung β L erhalten , können wir Lasso erneut auf die Datenmenge ( X S , Y ) anwenden , wobei S die Menge ungleich Null ist Indizes von β L , um eine Lösung zu erhalten , β R …

16 regression optimization lasso regularization shrinkage

1

Was ist der typische Bereich möglicher Werte für den Schrumpfungsparameter bei einer bestraften Regression?

Bei der Lasso oder Ridge-Regression muss ein Schrumpfungsparameter angegeben werden, der häufig als oder . Dieser Wert wird häufig über eine Kreuzvalidierung ausgewählt, indem eine Reihe verschiedener Werte in den Trainingsdaten überprüft wird und ermittelt wird, welche die besten Werte ergeben, z. B. in den Testdaten. Welchen Wertebereich sollte man …

16 regression lasso regularization ridge-regression penalized

1

Daten müssen in der Regression zentriert und standardisiert werden

Berücksichtigen Sie die lineare Regression mit einer gewissen Regularisierung: ZB Finden Sie , das minimiert| | A x - b | | 2 + λ | | x | | 1xxx| | Ax-b | |2+ λ | | x | |1||Ax−b||2+λ||x||1||Ax - b||^2+\lambda||x||_1 Normalerweise sind die Spalten von A so …

16 regression lasso regularization standardization

1

Regularisierung für ARIMA-Modelle

Ich kenne die Regularisierung nach LASSO, Ridge und Elastic-Net in linearen Regressionsmodellen. Frage: Kann diese (oder eine ähnliche) Art der bestraften Schätzung auf die ARIMA-Modellierung angewendet werden (mit einem nicht leeren MA-Teil)? Beim Erstellen von ARIMA-Modellen scheint es üblich zu sein, eine vorgewählte maximale Verzögerungsreihenfolge ( , ) zu berücksichtigen …

15 time-series arima lasso regularization ridge-regression

1

Regression in der Einstellung : Wie wird die Regularisierungsmethode gewählt (Lasso, PLS, PCR, Ridge)?

Ich versuche herauszufinden , ob Ridge Regression , LASSO , Principal Component Regression (PCR) oder Partial Least Squares (PLS) in einer Situation mit einer großen Anzahl von Variablen / Merkmalen ( ) und einer geringeren Anzahl von Stichproben ( ), und mein Ziel ist die Vorhersage.pppn<pn<pn n , meistens ;p>10np>10np>10n …

15 regression pca lasso ridge-regression partial-least-squares

1

Interpretation der variablen LASSO-Trace-Plots

Ich bin neu im glmnetPaket und bin mir noch nicht sicher, wie ich die Ergebnisse interpretieren soll. Könnte mir bitte jemand beim Lesen des folgenden Traceplots helfen? Das Diagramm wurde erhalten, indem Folgendes ausgeführt wurde: library(glmnet) return <- matrix(ret.ff.zoo[which(index(ret.ff.zoo)==beta.df$date[2]), ]) data <- matrix(unlist(beta.df[which(beta.df$date==beta.df$date[2]), ][ ,-1]), ncol=num.factors) model <- cv.glmnet(data, return, …

15 r data-visualization interpretation lasso glmnet

Als «lasso» getaggte Fragen