Als «ridge-regression» getaggte Fragen

Eine Regularisierungsmethode für Regressionsmodelle, die die Koeffizienten gegen Null verringert.

1
Gibt es eine klare Reihe von Bedingungen, unter denen Lasso, Grat oder elastische Netzlösungspfade monoton sind?
Die Frage, was aus diesem Lasso-Plot (glmnet) zu schließen ist, zeigt Lösungswege für den Lasso-Schätzer, die nicht monoton sind. Das heißt, einige der Cofficients nehmen im absoluten Wert zu, bevor sie schrumpfen. Ich habe diese Modelle auf verschiedene Arten von Datensätzen angewendet und dieses Verhalten noch nie "in freier Wildbahn" …
3
Wie kann ich Koeffizientenstandardfehler bei der Verwendung der Kammregression schätzen?
Ich verwende die Ridge-Regression für hoch multikollineare Daten. Mit OLS erhalte ich aufgrund der Multikollinearität große Standardfehler bei den Koeffizienten. Ich weiß, dass die Gratregression eine Möglichkeit ist, mit diesem Problem umzugehen, aber in allen Implementierungen der Gratregression, die ich untersucht habe, sind keine Standardfehler für die Koeffizienten angegeben. Ich …
2
LASSO und Grat aus der Bayes'schen Perspektive: Was ist mit den Stimmparametern?
Bestrafte Regressionsschätzer wie LASSO und Ridge sollen Bayes'schen Schätzern mit bestimmten Prioritäten entsprechen. Ich vermute (da ich nicht genug über Bayes'sche Statistiken weiß), dass für einen festen Abstimmungsparameter ein konkreter entsprechender Prior existiert. Nun würde ein Frequentist den Abstimmungsparameter durch Kreuzvalidierung optimieren. Gibt es ein bayesianisches Äquivalent dazu und wird …
3
Gratregression implementieren: Intelligentes Gitter für ?
Ich implementiere Ridge Regression in einem Python / C-Modul und bin auf dieses "kleine" Problem gestoßen. Die Idee ist, dass ich die effektiven Freiheitsgrade mehr oder weniger gleichmäßig verteilt abtasten möchte (wie die grafische Darstellung auf Seite 65 unter "Elemente des statistischen Lernens" ), dh Beispiel: wobei die Eigenwerte der …
2
Warum funktioniert der Ridge-Regressionsklassifikator für die Textklassifizierung recht gut?
Während eines Experiments zur Textklassifizierung habe ich Ergebnisse gefunden, die die Tests unter den Klassifizierern, die häufiger erwähnt und für Text-Mining-Aufgaben wie SVM, NB, kNN usw. angewendet werden, ständig übertreffen zur Optimierung jedes Klassifikators für diese spezielle Textklassifizierungsaufgabe, mit Ausnahme einiger einfacher Änderungen an den Parametern. Ein solches Ergebnis wurde …
3
Verwendung der Regularisierung bei statistischen Inferenzen
Ich kenne die Vorteile der Regularisierung bei der Erstellung von Vorhersagemodellen (Bias vs. Varianz, Vermeidung von Überanpassung). Aber ich frage mich, ob es eine gute Idee ist, auch Regularisierungen durchzuführen (Lasso, Grat, elastisches Netz), wenn der Hauptzweck des Regressionsmodells darin besteht, auf die Koeffizienten zu schließen (zu sehen, welche Prädiktoren …
2
Warum Lasso oder ElasticNet besser abschneiden als Ridge, wenn die Merkmale miteinander korrelieren
Ich habe 150 Funktionen, von denen viele stark miteinander korreliert sind. Mein Ziel ist es, den Wert einer diskreten Variablen vorherzusagen, deren Bereich 1-8 ist . Meine Stichprobengröße beträgt 550 und ich verwende die 10-fache Kreuzvalidierung. AFAIK: Unter den Regularisierungsmethoden (Lasso, ElasticNet und Ridge) ist Ridge strenger in Bezug auf …
1
Was ist der typische Bereich möglicher Werte für den Schrumpfungsparameter bei einer bestraften Regression?
Bei der Lasso oder Ridge-Regression muss ein Schrumpfungsparameter angegeben werden, der häufig als oder . Dieser Wert wird häufig über eine Kreuzvalidierung ausgewählt, indem eine Reihe verschiedener Werte in den Trainingsdaten überprüft wird und ermittelt wird, welche die besten Werte ergeben, z. B. in den Testdaten. Welchen Wertebereich sollte man …
1
Regularisierung für ARIMA-Modelle
Ich kenne die Regularisierung nach LASSO, Ridge und Elastic-Net in linearen Regressionsmodellen. Frage: Kann diese (oder eine ähnliche) Art der bestraften Schätzung auf die ARIMA-Modellierung angewendet werden (mit einem nicht leeren MA-Teil)? Beim Erstellen von ARIMA-Modellen scheint es üblich zu sein, eine vorgewählte maximale Verzögerungsreihenfolge ( , ) zu berücksichtigen …
1
Regression in der Einstellung : Wie wird die Regularisierungsmethode gewählt (Lasso, PLS, PCR, Ridge)?
Ich versuche herauszufinden , ob Ridge Regression , LASSO , Principal Component Regression (PCR) oder Partial Least Squares (PLS) in einer Situation mit einer großen Anzahl von Variablen / Merkmalen ( ) und einer geringeren Anzahl von Stichproben ( ), und mein Ziel ist die Vorhersage.pppn<pn<pn n , meistens ;p>10np>10np>10n …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.