Negative Gratregression verstehen

Ich suche Literatur über negative Gratregression .

Kurz gesagt, es ist eine Verallgemeinerung der linearen Regression unter Verwendung ridge negative $\lambda$ in der Schätzer

\hat{β} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y .

$\hat\beta = ( X^\top X + \lambda I)^{-1} X^\top y.$ Der positive Fall hat eine schöne Theorie: als Verlustfunktion, als Einschränkung, als Bayes-Prior ... aber ich fühle mich mit der negativen Version mit nur der obigen Formel verloren. Es ist nützlich für das, was ich tue, aber ich kann es nicht klar interpretieren.

Kennen Sie einen ernsthaften Einführungstext zum negativen Grat? Wie kann es interpretiert werden?

regression regularization ridge-regression

— Benoit Sanchez
quelle

Ich kenne keinen Einführungstext, der darüber spricht, aber diese Quelle mag aufschlussreich sein, insbesondere die Diskussion am Ende von Seite 18: jstor.org/stable/4616538?seq=1#page_scan_tab_contents

— Ryan Simmons

Für den Fall, dass diese Verbindung in Zukunft stirbt, lautet das vollständige Zitat: Björkström, A. & Sundberg, R. "Eine verallgemeinerte Sicht auf die Kontinuumsregression". Scandinavian Journal of Statistics, 26: 1 (1999): S. 17-30

— Ryan Simmons

Danke vielmals. Dies ergibt eine klare Interpretation des Kamms über CR, wenn

(größter Eigenwert der Kovarianzmatrix). Immer noch auf der Suche nach einer Interpretation mit

...

λ < - λ_{1}

$\lambda<-\lambda_1$

λ > - λ_{1}

$\lambda>-\lambda_1$

— Benoit Sanchez

Beachten Sie in dieser Entwicklung der Gratregression aus der Tikhonov-Regularisierung, dass die Tikhonov-Regularisierung

für die

. Anschließend wird

üblicherweise durch

. Die einzige Möglichkeit, dieses Negativ zu erzeugen, besteht darin, dass

imaginär ist, dh ein Vielfaches von

Γ^{T} Γ

$\Gamma^{T} \Gamma$

α^{2} I

$\alpha^2 I$

α^{2}

$\alpha^2$

λ

$\lambda$

α

$\alpha$

. OK, was nun? Wohin willst du damit gehen?

i = \sqrt{- 1}

$i=\sqrt{-1}$

— Carl

Negativer Grat hier erwähnt: stats.stackexchange.com/questions/328630/… mit einigen Links

— kjetil b halvorsen

Hier ist eine geometrische Darstellung dessen, was mit dem negativen Grat vor sich geht.

Ich werde Schätzer der Form betrachten aus der Verlustfunktion auftretenden Hier ist eine ziemlich standardmäßige Darstellung dessen, was in einem zweidimensionalen Fall mit passiert.

{\hat{β}}_{λ} = ({X.}^{⊤} X. + λ ich)^{- - 1} {X.}^{⊤} y

$\hat{\boldsymbol\beta}_\lambda = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1}\mathbf X^\top\mathbf y$

{L.}_{λ} = ‖ y - - X. β ‖^{2} + λ ‖ β ‖^{2} .

$\mathcal L_\lambda = \|\mathbf y - \mathbf X\boldsymbol\beta\|^2 + \lambda \|\boldsymbol\beta\|^2.$

λ \in [0, \infty)

$\lambda\in[0,\infty)$ . Null Lambda entspricht der OLS-Lösung, unendliches Lambda verkleinert das geschätzte Beta auf Null:

$\lambda\in(-\infty, -s^2_\max)$ $s_\mathrm{max}$ $\mathbf X$ $\hat{\boldsymbol\beta}_\lambda$ $-s^2_\max$ $(\mathbf X^\top \mathbf X + \lambda \mathbf I)$ $\mathbf X$ $\hat{\boldsymbol\beta}_\lambda$

Was wirklich schön ist, ist, dass man es auf die gleiche Weise auf dieselbe Figur zeichnen kann: Betas werden durch Punkte gegeben, an denen Kreise die Ellipsen von innen berühren :

$\lambda\in(-s^2_\mathrm{min},0]$

$(-s^2_\mathrm{max}, -s^2_\mathrm{min})$

$\lambda<-s^2_\mathrm{max}$ $\mathcal L_\lambda$ $\hat{\boldsymbol\beta}_\lambda$ $-s^2_\mathrm{min}<\lambda\le 0$ $\mathcal L_\lambda$ $\hat{\boldsymbol\beta}_\lambda$ $\lambda>0$

$-s^2_\mathrm{max}<\lambda<-s^2_\mathrm{min}$ $\mathcal L_\lambda$ $\hat{\boldsymbol\beta}_\lambda$

$\lambda\in(-\infty, -s^2_\max)$ $\lambda\to\infty$

$\lambda\in(-s^2_\mathrm{min},0]$ $\lambda>0$

— Amöbe sagt Reinstate Monica
quelle

λ < - s_{max}^{2}

$\lambda < -s_\text{max}^2$

- s_{max}^{2} < λ < 0

$-s_\text{max}^2 < \lambda < 0$

β^{T} (X^{T} X + λ I) β .

$\beta^T (X^T X + \lambda I) \beta.$

λ < - s_{max}^{2}

$\lambda < - s_\text{max}^2$

- s_{max}^{2} < λ < 0

$- s_\text{max}^2 < \lambda < 0$

Das ist sehr hilfreich, vielen Dank. Ich habe meine Antwort aktualisiert.

— Amöbe sagt Reinstate Monica

- s_{max}^{2} < λ < - s_{min}^{2}

$-s_\text{max}^2 < \lambda < - s_\text{min}^2$

λ > - s_{min}^{2}

$\lambda > -s_\text{min}^2$

X^{T} X + λ I

$X^T X + \lambda I$