Statistiken und Big Data ridge-regression

3

Wann sollte ich Lasso vs Ridge verwenden?

Angenommen, ich möchte eine große Anzahl von Parametern schätzen und einige davon benachteiligen, weil ich der Meinung bin, dass sie im Vergleich zu den anderen nur geringe Auswirkungen haben sollten. Wie entscheide ich mich für ein Strafschema? Wann ist eine Kammregression angemessener? Wann sollte ich Lasso verwenden?

167 regression lasso ridge-regression

6

Warum L1-Norm für spärliche Modelle?

Ich lese die Bücher über lineare Regression. Es gibt einige Sätze zur L1- und L2-Norm. Ich kenne sie, verstehe nur nicht, warum L1-Norm für spärliche Modelle. Kann jemand eine einfache Erklärung geben?

97 regression lasso regularization ridge-regression

2

Wann sind Regularisierungsmethoden für die Regression anzuwenden?

Unter welchen Umständen sollte man die Verwendung von Regularisierungsmethoden (Ridge, Lasso oder Least Angles Regression) anstelle von OLS in Betracht ziehen? Falls dies hilft, die Diskussion zu steuern, ist mein Hauptinteresse die Verbesserung der Vorhersagegenauigkeit.

83 regression least-squares lasso ridge-regression fused-lasso

2

Warum wird die Gratregression als "Grat" bezeichnet, warum wird sie benötigt und was passiert, wenn

Firstregressionskoeffizientenschätzung β R sind die Werte , die die Minimierungβ^Rβ^R\hat{\beta}^R RSS+λ∑j=1pβ2j.RSS+λ∑j=1pβj2. \text{RSS} + \lambda \sum_{j=1}^p\beta_j^2. Meine Fragen sind: Wenn , dann sehen wir, dass sich der obige Ausdruck auf das übliche RSS reduziert. Was ist, wenn λ → ∞ ? Ich verstehe das Lehrbuch Erklärung des Verhaltens der Koeffizienten nicht.λ=0λ=0\lambda …

71 ridge-regression statistical-learning history

5

Einheitliche Sicht auf die Schrumpfung: Welche Beziehung besteht (wenn überhaupt) zwischen Steins Paradoxon, Gratregression und zufälligen Effekten in gemischten Modellen?

Betrachten Sie die folgenden drei Phänomene. Steins Paradoxon: Angesichts einiger Daten aus der multivariaten Normalverteilung in ist der Stichprobenmittelwert kein sehr guter Schätzer für den wahren Mittelwert. Man kann eine Schätzung mit kleinerem mittleren Fehlerquadrat erhalten, wenn man alle Koordinaten des Stichprobenmittelwerts gegen Null schrumpft [oder gegen ihren Mittelwert oder …

64 regression mixed-model ridge-regression shrinkage steins-phenomenon

5

Welches Problem lösen Schrumpfmethoden?

Die Weihnachtszeit hat mir die Möglichkeit gegeben, mich mit den Elementen des statistischen Lernens am Feuer zu entspannen . Aus ökonometrischer Sicht (häufig) habe ich Probleme, die Verwendung von Schrumpfungsmethoden wie Ridge Regression, Lasso und Least Angle Regression (LAR) zu verstehen. Normalerweise interessiert mich die Parameterschätzung selbst und das Erreichen …

61 lasso ridge-regression shrinkage lars

3

Warum wird die Kantenschätzung durch Hinzufügen einer Konstanten zur Diagonale besser als bei OLS?

Ich verstehe, dass die Grat-Regressionsschätzung das , das die Restsumme des Quadrats und eine Strafe für die Größe von β minimiertββ\betaββ\beta βridge=(λID+X′X)−1X′y=argmin[RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin⁡[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y = \operatorname{argmin}\big[ \text{RSS} + \lambda \|\beta\|^2_2\big] Allerdings verstehe ich die Bedeutung der Tatsache, dass sich von dadurch unterscheidet, dass nur eine kleine Konstante …

59 regression least-squares ridge-regression shrinkage

2

Warum funktioniert das Schrumpfen?

Um Probleme bei der Modellauswahl zu lösen, werden durch eine Reihe von Methoden (LASSO, Ridge-Regression usw.) die Koeffizienten der Prädiktorvariablen gegen Null gesenkt. Ich suche nach einer intuitiven Erklärung, warum dies die Vorhersagefähigkeit verbessert. Wenn der wahre Effekt der Variablen tatsächlich sehr groß war, warum führt ein Verkleinern des Parameters …

55 lasso regularization ridge-regression intuition shrinkage

6

Ist die Gratregression in hohen Dimensionen nutzlos (

Betrachten Sie ein gutes altes Regressionsproblem mit Prädiktoren und Stichprobengröße . Die übliche Weisheit ist, dass der OLS-Schätzer zu hoch ist und im Allgemeinen von dem Kamm-Regressions-Schätzer übertroffen wird:Es ist Standard, eine Kreuzvalidierung zu verwenden, um einen optimalen Regularisierungsparameter . Hier verwende ich einen 10-fachen Lebenslauf. Klarstellungsaktualisierung: Wenn , verstehe …

50 cross-validation regularization overfitting ridge-regression shrinkage

5

Wie kann die Gratregressionslösung abgeleitet werden?

Ich habe einige Probleme mit der Herleitung der Lösung für die Gratregression. Ich kenne die Regressionslösung ohne den Regularisierungsbegriff: β=(XTX)−1XTy.β=(XTX)−1XTy.\beta = (X^TX)^{-1}X^Ty. λ∥β∥22λ‖β‖22\lambda\|\beta\|_2^2 β=(XTX+λI)−1XTy.β=(XTX+λI)−1XTy.\beta = (X^TX + \lambda I)^{-1}X^Ty.

40 regression least-squares regularization ridge-regression

3

Warum sehen wir nur und Regularisierung aber nicht andere Normen?

Ich bin nur neugierig, warum es normalerweise nur und Regularisierungen gibt. Gibt es Beweise, warum diese besser sind?L1L1L_1L2L2L_2

36 lasso regularization ridge-regression

1

Wann ist eine verschachtelte Kreuzvalidierung wirklich erforderlich und kann einen praktischen Unterschied bewirken?

Wenn Sie eine Kreuzvalidierung für die Modellauswahl (wie z. B. die Optimierung von Hyperparametern) verwenden und die Leistung des besten Modells bewerten, sollten Sie eine verschachtelte Kreuzvalidierung verwenden . Die äußere Schleife dient zur Bewertung der Leistung des Modells, und die innere Schleife dient zur Auswahl des besten Modells. Das …

36 cross-validation model-selection ridge-regression

3

Wie schätze ich den Schrumpfungsparameter bei Lasso oder Kammregression mit> 50K Variablen?

Ich möchte Lasso oder Ridge-Regression für ein Modell mit mehr als 50.000 Variablen verwenden. Ich möchte dies mithilfe des Softwarepakets in R tun. Wie kann ich den Schrumpfungsparameter ( ) schätzen ?λλ\lambda Bearbeitungen: Hier ist der Punkt, zu dem ich gekommen bin: set.seed (123) Y <- runif (1000) Xv <- …

36 r lasso ridge-regression high-dimensional

2

Wenn nur die Vorhersage von Interesse ist, warum sollte man dann Lasso über dem Kamm verwenden?

Auf Seite 223 in Eine Einführung in das statistische Lernen fassen die Autoren die Unterschiede zwischen Gratregression und Lasso zusammen. Sie liefern ein Beispiel (Abbildung 6.9) für den Fall, dass "Lasso dazu neigt, die Gratregression in Bezug auf Bias, Varianz und MSE zu übertreffen". Ich verstehe, warum Lasso wünschenswert sein …

36 machine-learning prediction lasso regularization ridge-regression

2

Was ist elastische Netzregulierung und wie werden die Nachteile von Ridge ( ) und Lasso ( ) behoben?

Wird die elastische Netz-Regularisierung immer Lasso & Ridge vorgezogen, da sie die Nachteile dieser Methoden zu beseitigen scheint? Was ist die Intuition und was ist die Mathematik hinter dem elastischen Netz?

35 regression lasso regularization ridge-regression elastic-net

Als «ridge-regression» getaggte Fragen