Wie finde ich die Regressionskoeffizienten

Bei der Gratregression ist die zu minimierende Zielfunktion:

RSS + λ \sum β_{j}^{2} .

$\text{RSS}+\lambda \sum\beta_j^2.$

Kann dies mit der Lagrange-Multiplikatormethode optimiert werden? Oder ist es gerade Differenzierung?

regression regularization ridge-regression

— Minaj
quelle

Was ist der Zusammenhang zwischen dem Titel (der sich auf

konzentriert

λ

$\lambda$ ) und der Frage (die sich nur um das

scheint

β_{j}

$\beta_j$ )? Ich befürchte, dass "optimiert werden" deutlich unterschiedliche Interpretationen haben könnte, je nachdem, welche Variablen als variabel angesehen werden und welche festgesetzt werden sollen.

— Whuber

Dank änderte die Frage. Ich habe gelesen , dass die

λ

$\lambda$ durch Kreuzvalidierung gefunden wird - aber ich glaube , das bedeutet , dass Sie das haben

β_{j}

$\beta_j$ bereits und verwenden unterschiedliche Daten die besten zu finden

λ

$\lambda$ Frage ist - wie finden Sie das

β_{j}

$\beta_j$ ‚s in erster Linie Wann ist

λ

$\lambda$ ein Unbekannter?

— Minaj

Es gibt zwei Formulierungen für das Gratproblem. Der erste ist

β_{R} = \underset{β}{argmin} {(y - X β)}^{'} (y - X β)

$\boldsymbol{\beta}_R = \operatorname*{argmin}_{\boldsymbol{\beta}} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right)^{\prime} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right)$

unterliegen

\sum_{j} β_{j}^{2} \leq s .

$\sum_{j} \beta_j^2 \leq s.$

Diese Formulierung zeigt die Größenbeschränkung für die Regressionskoeffizienten. Beachten Sie, was diese Einschränkung impliziert. Wir zwingen die Koeffizienten, mit dem Radius in einer Kugel um den Ursprung zu liegen . $\sqrt{s}$

Die zweite Formulierung ist genau Ihr Problem

β_{R} = \underset{β}{argmin} {(y - X β)}^{'} (y - X β) + λ \sum β_{j}^{2}

$\boldsymbol{\beta}_R = \operatorname*{argmin}_{\boldsymbol{\beta}} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right)^{\prime} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right) + \lambda \sum\beta_j^2$

was als die Largrange-Multiplikatorformulierung angesehen werden kann. Hierbei ist zu beachten, dass ein Abstimmungsparameter ist und größere Werte zu einer größeren Schrumpfung führen. Sie können fortfahren, den Ausdruck in Bezug auf zu differenzieren und den bekannten Kammschätzer erhalten $\lambda$ $\boldsymbol{\beta}$

\begin{matrix} (1) & β_{R} = {(X^{'} X + λ ich)}^{- 1} X^{'} y \end{matrix}

$\boldsymbol{\beta}_{R} = \left( \mathbf{X}^{\prime} \mathbf{X} + \lambda \mathbf{I} \right)^{-1} \mathbf{X}^{\prime} \mathbf{y} \tag{1}$

Die beiden Formulierungen sind vollständig äquivalent , da es eine Eins-zu-Eins-Entsprechung zwischen und $s$ $\lambda$ .

Lassen Sie mich etwas näher darauf eingehen. Stellen Sie sich vor , dass Sie in dem idealen orthogonalen Fall sind, . Dies ist eine stark vereinfachte und unrealistische Situation, aber wir können den Schätzer etwas genauer untersuchen, halten Sie es mit mir aus. Überlegen Sie, was mit Gleichung (1) passiert. Der Kammschätzer reduziert sich auf $\mathbf{X}^{\prime} \mathbf{X} = \mathbf{I}$

β_{R} = {(I + λ I)}^{- 1} X^{'} y = {(I + λ I)}^{- 1} β_{O L S}

$\boldsymbol{\beta}_R = \left( \mathbf{I} + \lambda \mathbf{I} \right)^{-1} \mathbf{X}^{\prime} \mathbf{y} = \left( \mathbf{I} + \lambda \mathbf{I} \right)^{-1} \boldsymbol{\beta}_{OLS}$

wie im orthogonalen Fall ist der OLS-Schätzer gegeben durch . Betrachtet man nun diese Komponente, so erhält man $\boldsymbol{\beta}_{OLS} = \mathbf{X}^{\prime} \mathbf{y}$

\begin{matrix} (2) & β_{R} = \frac{β_{O L S}}{1 + λ} \end{matrix}

$\beta_R = \frac{\beta_{OLS}}{1+\lambda} \tag{2}$

Beachten Sie dann, dass jetzt die Schrumpfung für alle Koeffizienten konstant ist. Dies kann im allgemeinen Fall nicht zutreffen, und es kann in der Tat gezeigt werden, dass sich die Schrumpfungen stark unterscheiden, wenn es Entartungen im $\mathbf{X}^{\prime} \mathbf{X}$ - Matrix.

Kehren wir jedoch zum eingeschränkten Optimierungsproblem zurück. Nach der KKT-Theorie eine notwendige Bedingung für die Optimalität

λ (\sum β_{R, j}^{2} - s) = 0

$\lambda \left( \sum \beta_{R,j} ^2 -s \right) = 0$

also entweder oder (in diesem Fall sagen wir, dass die Bedingung bindend ist). Wenn ist, gibt es keine Strafe und wir sind wieder in der regulären OLS-Situation. Nehmen wir an, dass die Bedingung bindend ist und wir uns in der zweiten Situation befinden. Mit der Formel in (2) haben wir dann $\lambda = 0$ $\sum \beta_{R,j} ^2 -s = 0$ $\lambda = 0$

s = \sum β_{R, j}^{2} = \frac{1}{{(1 + λ)}^{2}} \sum β_{O L S, j}^{2}

$s = \sum \beta_{R,j}^2 = \frac{1}{\left(1 + \lambda \right)^2} \sum \beta_{OLS,j}^2$

woher wir bekommen

λ = \sqrt{\frac{\sum β_{O L S, j}^{2}}{s}} - 1

$\lambda = \sqrt{\frac{\sum \beta_{OLS,j} ^2}{s}} - 1$

die zuvor behauptete Eins-zu-Eins-Beziehung. Ich gehe davon aus, dass dies im nicht-orthogonalen Fall schwieriger festzustellen ist, aber das Ergebnis bleibt davon unberührt.

Schauen Sie sich (2) noch einmal an und Sie werden sehen, dass wir immer noch das vermissen . Um einen optimalen Wert dafür zu erhalten, können Sie entweder eine Kreuzvalidierung verwenden oder sich die Gratspur ansehen. Die letztere Methode beinhaltet das Konstruieren einer Folge von in (0,1) und das Betrachten, wie sich die Schätzungen ändern. Sie wählen dann das , das sie stabilisiert. Diese Methode wurde übrigens in der zweiten der folgenden Referenzen vorgeschlagen und ist die älteste. $\lambda$ $\lambda$ $\lambda$

Verweise

Hoerl, Arthur E. und Robert W. Kennard. "Gratregression: Verzerrte Schätzung für nichtorthogonale Probleme." Technometrics 12.1 (1970): 55 & ndash; 67.

Hoerl, Arthur E. und Robert W. Kennard. "Ridge Regression: Anwendungen auf nichtorthogonale Probleme." Technometrics 12.1 (1970): 69 & ndash; 82.

— JohnK
quelle

@Minaj Ridge-Regression hat für alle Koeffizienten (außer dem Achsenabschnitt) eine konstante Schrumpfung. Deshalb gibt es nur einen Multiplikator.

— JohnK

@amoeba Dies ist ein Vorschlag von Hoerl und Kennard, den Leuten, die in den 1970er Jahren die Gratregression eingeführt haben. Aufgrund ihrer Erfahrung - und meiner - stabilisieren sich die Koeffizienten in diesem Intervall auch bei extremer Multikollinearität. Dies ist natürlich eine empirische Strategie, und es ist nicht garantiert, dass sie immer funktioniert.

— JohnK

Sie könnten auch einfach die Pseudobeobachtungsmethode anwenden und die Schätzungen mit nichts Komplizierterem als einem Regressionsprogramm für kleinste Fehlerquadrate erhalten. In ähnlicher Weise können Sie auch den Effekt der Änderung von

untersuchen .

λ

$\lambda$

— Glen_b

@amoeba Es ist wahr, dass Ridge nicht skalierungsinvariant ist, deshalb ist es üblich, die Daten im Voraus zu standardisieren. Ich habe die relevanten Referenzen beigefügt, falls Sie einen Blick darauf werfen möchten. Sie sind immens interessant und nicht so technisch.

— JohnK

@JohnK schrumpft in der Tat die Gratregression jedes

um einen anderen Betrag, so dass die Schrumpfung nicht konstant ist, obwohl es nur einen Schrumpfungsparameter

β

$\beta$

λ

$\lambda$

— Frank Harrell

Mein Buch Regression Modeling Strategies befasst sich mit der Verwendung effektiver AIC für die Wahl von . Dies kommt von der bestraft Log - Likelihood und der effektiven Freiheitsgraden, wobei die letztere eine Funktion ist , wie viel Abweichungen von werden durch penalization reduziert. Eine Präsentation dazu gibt es hier . Das R- Paket findet , das den effektiven AIC optimiert, und erlaubt auch mehrere Strafparameter (z. B. einen für lineare Haupteffekte, einen für nichtlineare Haupteffekte, einen für lineare Interaktionseffekte und einen für nichtlineare Interaktionseffekte). $\lambda$ $\hat{\beta}$ rmspentrace $\lambda$

— Frank Harrell
quelle

λ

$\lambda$

Das habe ich nicht studiert. LOOCV erfordert viel Rechenaufwand.

— Frank Harrell

Nicht, wenn die explizite Formel verwendet wird: stats.stackexchange.com/questions/32542 .

— Amöbe sagt Reinstate Monica

Diese Formel gilt für den speziellen Fall von OLS, nicht für die maximale Wahrscheinlichkeit im Allgemeinen. Es gibt jedoch eine ungefähre Formel unter Verwendung von Bewertungsrestwerten. Mir ist klar, dass wir in dieser Diskussion hauptsächlich über OLS sprechen.

— Frank Harrell

Ich mache das nicht analytisch, sondern numerisch. Ich zeichne normalerweise RMSE gegen λ als solches:

Figure 1. RMSE und die Konstante λ oder alpha.

— Lennart
quelle

Bedeutet dies, dass Sie einen bestimmten Wert von festlegen?

λ

$\lambda$ und dann differenzieren Sie den Ausdruck, um die zu finden

β_{j}

$\beta_j$ Danach berechnen Sie RMSE und wiederholen den Vorgang für neue Werte von

λ

$\lambda$ ?

— Minaj