Statistiken und Big Data regularization

1

Wie geht Python Scikit Learn mit dem Problem der linearen Trennung bei der logistischen Regression um?

Es gibt bereits Beiträge zu Warnungen von R, die sich mit logistischer Regression und linearer Trennung wie dieser befassen . Ich möchte nur sicherstellen, dass in Python Scikit Learn dieses Problem durch den L1 / L2-Regularisierungsteil in der Optimierungsfunktion gelöst wird. Mit anderen Worten, es ist sicher zu sagen, dass …

8 logistic python regularization separation

2

Ich habe meine lineare Regression reguliert, was nun?

Ich habe die Regressionsparameter eines linearen Regressionsmodells mit LASSO geschätzt, einige Variablen mithilfe der Kreuzvalidierung auf Null gesendet und jetzt ein endgültiges Modell erhalten. Es ist bekannt, dass das Regularisieren eine Verzerrung der aktiven Variablen hervorruft, aber es ist ein guter Preis, um falsche Variablen loszuwerden. Was mache ich jetzt, …

7 regression lasso regularization

1

Wie funktioniert die Ridge- oder Lasso-Regression wirklich?

Sehr grundlegende Frage hier, aber ich möchte verstehen (nicht mathematisch), wie die Tatsache, eine "Strafe" (Summe der quadratischen Koeffizienten mal Skalar) zur verbleibenden Quadratsumme hinzuzufügen, große Koeffizienten reduzieren kann? Vielen Dank !

7 regression least-squares regularization

1

Kreuzvalidierung für elastische Netzregression: Quadratischer Fehler vs. Korrelation auf dem Testsatz

Betrachten Sie die elastische Netzregression mit einer glmnetähnlichen Parametrisierung der VerlustfunktionIch habe einen Datensatz mit n \ ll p (44 bzw. 3000) und verwende eine wiederholte 11-fache Kreuzvalidierung, um die optimalen Regularisierungsparameter \ alpha und \ lambda auszuwählen . Normalerweise würde ich einen quadratischen Fehler als Leistungsmetrik für den Testsatz …

7 regression cross-validation model-selection regularization elastic-net

2

Warum verwendet glmnet den Koordinatenabstieg für die Ridge-Regression?

Wenn ich es richtig verstehe, verwendet glmnet den zyklischen Koordinatenabstieg nicht nur für Lasso- und Gummibänder, sondern auch für die Ridge-Regression. Warum wird dieser Algorithmus verwendet, der manchmal leicht ungenaue Ergebnisse liefert, obwohl tatsächlich eine einfache Lösung in geschlossener Form verfügbar ist? Vielen Dank im Voraus!

7 lasso regularization ridge-regression glmnet elastic-net

1

Vorspannungs- und Varianz-Eigenschaften der Normalisierung von gegen

Sollte ich beim Übergang von der zur Normalisierung in der linearen Regression mehr Verzerrung oder Varianz erwarten? Beachten Sie, dass die Vorspannung ein Zeichen für eine Unteranpassung ist und die Varianz ein Zeichen für eine Überanpassung ist. Nehmen Sie eine Konstante λ an.L.2L2L^2L.1L1L^1 Ich suche hier eine allgemeine Faustregel. Wenn …

7 variance lasso bias regularization ridge-regression

2

Warum alle Parameter auf die gleiche Weise regulieren?

Meine Frage bezieht sich auf die Regularisierung in der linearen Regression und der logistischen Regression. Ich mache gerade Woche 3 von Andrew Ngs Kurs über maschinelles Lernen auf Coursera. Ich verstehe, wie Überanpassung ein häufiges Problem sein kann, und ich habe eine gewisse Intuition dafür, wie Regularisierung Überanpassung reduzieren kann. …

7 regression machine-learning regularization overfitting

2

Tuning-Parameterbereich für Lasso und Ridge

Bei der linearen Regression von Grat und Lasso besteht ein wichtiger Schritt darin, den Abstimmungsparameter Lambda zu wählen. Oft verwende ich die Rastersuche auf der Protokollskala von -6-> 4, sie funktioniert gut auf Grat, aber auf Lasso sollte ich die Reihenfolge berücksichtigen der Größe der Ausgabe y? Wenn die Ausgabe …

7 regression cross-validation lasso regularization ridge-regression

Als «regularization» getaggte Fragen