Statistiken und Big Data regularization

1

LARS gegen Koordinatenabstieg für das Lasso

Welche Vor- und Nachteile hat die Verwendung von LARS [1] im Vergleich zur Verwendung der Koordinatenabsenkung für die Anpassung der L1-regulierten linearen Regression? Ich interessiere mich hauptsächlich für Leistungsaspekte (meine Probleme sind Nin der Regel Hunderttausende und p<20). Es sind jedoch auch andere Erkenntnisse erwünscht. edit: Seitdem ich die Frage …

13 regression lasso regularization regression references lasso regularization elastic-net r distributions aggregation clustering algorithms regression correlation modeling distributions time-series standard-deviation goodness-of-fit hypothesis-testing statistical-significance sample binary-data estimation random-variable interpolation distributions probability chi-squared predictor outliers regression modeling interaction

2

Warum Gruppen-Lasso anstelle von Lasso verwenden?

Ich habe gelesen, dass das Gruppen-Lasso für die Variablenauswahl und die Sparsamkeit in einer Gruppe von Variablen verwendet wird. Ich möchte die Intuition hinter dieser Behauptung kennen. Warum wird Gruppenlasso dem Lasso vorgezogen? Warum ist der Lösungsweg des Gruppen-Lassos nicht stückweise linear?

13 regression feature-selection lasso regularization

1

Koeffizientenpfade - Vergleich von Grat, Lasso und elastischer Netzregression

Ich möchte ausgewählte Modelle mit First, Lasso und elastischem Netz vergleichen. Die folgende Abbildung zeigt die Koeffizientenpfade mit allen drei Methoden: Grat (Abb. A, alpha = 0), Lasso (Abb. B; alpha = 1) und elastisches Netz (Abb. C; alpha = 0,5). Die optimale Lösung hängt vom ausgewählten Lambda-Wert ab, der …

13 r multiple-regression modeling regularization

2

Wann wählt LASSO korrelierte Prädiktoren aus?

Ich benutze das Paket 'lars' in R mit dem folgenden Code: > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + …

13 correlation feature-selection lasso regularization ridge-regression

2

Was sind Regularitäten und Regularisierung?

Ich höre diese Wörter immer mehr, während ich maschinelles Lernen studiere. Tatsächlich haben einige Leute die Fields-Medaille gewonnen, indem sie an Gleichungssystemen gearbeitet haben. Ich denke, dies ist ein Begriff, der sich von statistischer Physik / Mathematik zum maschinellen Lernen hinzieht. Natürlich konnten einige Leute, die ich gefragt habe, dies …

12 machine-learning self-study terminology regularization definition

4

Kein Regularisierungsterm für die Bias-Einheit im neuronalen Netz

Laut diesem Tutorial zum Tiefenlernen wird Gewichtsabnahme (Regularisierung) normalerweise nicht auf die Verzerrungsterme angewendet. B Warum? Welche Bedeutung (Intuition) steckt dahinter?

12 machine-learning neural-networks bias regularization

5

Rekursiver (online) regularisierter Algorithmus der kleinsten Quadrate

Kann mich jemand auf einen (rekursiven) Online-Algorithmus für die Tikhonov-Regularisierung (regularisierte kleinste Quadrate) hinweisen? In einer Offline-Einstellung würde ich Verwendung meines ursprünglichen Datensatzes berechnen, wobei unter Verwendung der n-fachen Kreuzvalidierung gefunden wird. Ein neuer Wert kann für ein gegebenes x mit y = x ^ T \ hat \ beta …

12 regression machine-learning least-squares regularization online

2

GLM nach Modellauswahl oder Regularisierung

Ich möchte diese Frage in zwei Teile teilen. Beide befassen sich mit einem verallgemeinerten linearen Modell, aber das erste befasst sich mit der Modellauswahl und das andere mit der Regularisierung. Hintergrund: Ich benutze GLMs (lineare, logistische, Gamma-Regressions-) Modelle sowohl zur Vorhersage als auch zur Beschreibung. Wenn ich mich auf die …

12 regression model-selection regularization

2

Koordinatenabstieg für das Lasso oder elastische Netz

Gibt es gute Artikel oder Bücher, die sich mit der Verwendung von Koordinatenabstieg für L1 (Lasso) und / oder elastischer Netzregulierung für lineare Regressionsprobleme befassen?

12 regression references lasso regularization elastic-net

4

Was führt dazu, dass Lasso bei der Funktionsauswahl instabil ist?

Bei der komprimierten Abtastung gibt es einen Satz, der garantiert, dass argmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc hat eine eindeutige, spärliche Lösungccc (siehe Anhang für weitere Details). Gibt es einen ähnlichen Satz für Lasso? Wenn es einen solchen Satz gibt, garantiert er …

12 regression self-study feature-selection lasso regularization

1

Negative Gratregression verstehen

Ich suche Literatur über negative Gratregression . Kurz gesagt, es ist eine Verallgemeinerung der linearen Regression unter Verwendung ridge negative λλ\lambda in der Schätzer β^=(X⊤X+λI)−1X⊤y.β^=(X⊤X+λI)−1X⊤y.\hat\beta = ( X^\top X + \lambda I)^{-1} X^\top y.Der positive Fall hat eine schöne Theorie: als Verlustfunktion, als Einschränkung, als Bayes-Prior ... aber ich fühle …

12 regression regularization ridge-regression

2

Was ist die Maxnorm-Einschränkung? Wie ist es in Faltungs-Neuronalen Netzen nützlich?

Hier ist ein Keras-Codebeispiel, das es verwendet: from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu', kernel_constraint=max_norm(3)))

12 neural-networks regularization conv-neural-network optimization

1

Was ist der Zusammenhang zwischen Regularisierung und der Methode der Lagrange-Multiplikatoren?

Um eine Überanpassung von Personen zu verhindern, fügen Menschen der Kostenfunktion der linearen Regression einen Regularisierungsterm (proportional zur quadratischen Summe der Parameter des Modells) mit einem Regularisierungsparameter . Ist dieser Parameter λ der gleiche wie ein Lagrange-Multiplikator? Ist die Regularisierung also dieselbe wie die Methode des Lagrange-Multiplikators? Oder wie hängen …

12 regression optimization regularization

5

Ridge & LASSO Normen

Dieser Beitrag folgt diesem: Warum wird die Kammschätzung besser als die OLS, indem der Diagonale eine Konstante hinzugefügt wird? Hier ist meine Frage: Soweit ich weiß, verwendet die eine ℓ 2 -Norm (euklidischer Abstand). Aber warum verwenden wir das Quadrat dieser Norm? (Eine direkte Anwendung von ℓ 2 würde mit …

12 lasso regularization ridge-regression

1

Was sind

Ich habe in letzter Zeit viele Artikel über spärliche Darstellungen gesehen, und die meisten von ihnen verwenden die ℓpℓp\ell_p Norm und führen einige Minimierungen durch. Meine Frage ist, was ist die ℓpℓp\ell_p Norm und die ℓp,qℓp,q\ell_{p, q} Mischnorm? Und wie sind sie für die Regularisierung relevant? Vielen Dank

12 machine-learning regularization sparse

Als «regularization» getaggte Fragen