Interpretation der Gratregulierung in der Regression

25

Ich habe verschiedene Fragen bezüglich der First Penalty im Rahmen der kleinsten Fehlerquadrate:

β_{r i d g e} = (λ I_{D} + X^{'} X)^{- 1} X^{'} y

$\beta_{ridge} = (\lambda I_D + X'X)^{-1}X'y$

1) Der Ausdruck legt nahe, dass die Kovarianzmatrix von X zu einer Diagonalmatrix geschrumpft ist, was bedeutet, dass (unter der Annahme, dass die Variablen vor der Prozedur standardisiert wurden) die Korrelation zwischen den Eingabevariablen verringert wird. Ist diese Interpretation richtig?

2) Wenn es sich um eine Schrumpfungsanwendung handelt, warum wird sie nicht in den Zeilen von , vorausgesetzt, wir können Lambda mit einer Normalisierung irgendwie auf [0,1] beschränken . $(\lambda I_D + (1-\lambda)X'X)$

3) Was kann eine Normalisierung für so dass sie auf einen Standardbereich wie [0,1] beschränkt werden kann? $\lambda$

4) Das Hinzufügen einer Konstante zur Diagonale wirkt sich auf alle Eigenwerte aus. Wäre es besser, nur die singulären oder nahezu singulären Werte anzugreifen? Entspricht dies der Anwendung von PCA auf X und der Beibehaltung der Top-N-Hauptkomponenten vor der Regression oder hat es einen anderen Namen (da die Berechnung der Kreuzkovarianz nicht geändert wird)?

5) Können wir die Cross-Kovarianz regulieren oder hat sie irgendeinen , dh

β_{r i d g e} = (λ I_{D} + X^{'} X)^{- 1} (γ X^{'} y)

$\beta_{ridge} = (\lambda I_D + X'X)^{-1}(\gamma X'y)$

Wobei ein kleines die Kreuzkovarianz senkt. Dies senkt natürlich alle Werte gleichermaßen, aber vielleicht gibt es einen intelligenteren Weg, wie das Fest / Weich-Schwellwert-Verhältnis, abhängig vom Kovarianzwert. $\gamma$ $\beta$

— Cagdas Ozgenc
quelle

Die Kammstrafe ergibt sich aus einer Einschränkung, dass

, durch einen Lagrange-Multiplikator für die MSE-Zielfunktion. LASSO ist das selbe aber mit

stattdessen. Ich bin auf meinem Handy, daher kann ich im Moment keine Ableitung veröffentlichen. Aber das sind großartige Fragen

\sum β^{2} \leq T

$\sum \beta^2 \leq T$

| β |

$|\beta|$

— shadowtalker

19

Gute Fragen!

Ja, das ist genau richtig. Sie können die Kammstrafe als eine Möglichkeit betrachten, das Multikollinearitätsproblem zu lösen , das auftritt, wenn viele Prädiktoren stark korreliert sind. Durch die Einführung der Kammstrafe werden diese Korrelationen effektiv gesenkt.
Ich denke , dass dies zum Teil Tradition ist, teilweise die Tatsache , dass Firstregressionsformel , wie in der ersten Gleichung angegeben ergibt sich aus der folgenden Kostenfunktion: Wenn , kann der zweite Term fallengelassen werden, und die Minimierung des ersten Terms ("Rekonstruktionsfehler") führt zur Standard-OLS-Formel für . Das Beibehalten des zweiten Terms führt zu der Formel für
$L = ‖ y - X β ‖^{2} + λ ‖ β ‖^{2} .$ $L=\| \mathbf y - \mathbf X \beta \|^2 + \lambda \|\beta\|^2.$ $\lambda=0$ $\beta$ $\beta_\mathrm{ridge}$ . Diese Kostenfunktion ist mathematisch sehr bequem zu handhaben, und dies könnte einer der Gründe dafür sein, "nicht normalisiertes" Lambda zu bevorzugen.
Ein möglicher Weg zu normalisieren ist es durch die Gesamtvarianz skaliert , dh , verwenden anstelle von . Dies würde nicht notwendigerweise beschränken auf , aber es wäre „dimensionslose“ machen und wahrscheinlich in optimalen würde kleiner ist dann in allen praktischen Fällen (NB: Das ist nur eine Vermutung!). $\lambda$ $\mathrm{tr}(\mathbf X^\top \mathbf X)$ $\lambda \mathrm{tr}(\mathbf X^\top \mathbf X)$ $\lambda$ $\lambda$ $[0,1]$ $\lambda$ $1$
"Nur kleine Eigenwerte angreifen" hat einen eigenen Namen und wird als Regression der Hauptkomponenten bezeichnet. Der Zusammenhang zwischen PCR und Ridge-Regression besteht darin, dass Sie in der PCR nach einer bestimmten Zahl effektiv alle Eigenwerte mit einer "Stufenstrafe" abschneiden, während die Ridge-Regression eine "weiche Strafe" anwendet, die alle Eigenwerte benachteiligt, wobei kleinere Werte stärker benachteiligt werden. Dies wird in The Elements of Statistical Learning von Hastie et al. (online frei verfügbar), Abschnitt 3.4.1. Siehe auch meine Antwort in Beziehung zwischen Kammregression und PCA-Regression .
Ich habe dies noch nie gesehen, aber beachten Sie, dass Sie eine Kostenfunktion in der Form Dies verkleinert Ihr nicht auf Null, sondern auf einen anderen vordefinierten Wert . Wenn man die Mathematik ausarbeitet, gelangt man zu dem optimalen das durch
$L = ‖ y - X β ‖^{2} + λ ‖ β - β_{0} ‖^{2} .$ $L=\| \mathbf y - \mathbf X \beta \|^2 + \lambda \|\beta-\beta_0\|^2.$ $\beta$ $\beta_0$ $\beta$ was vielleicht als "Regularisierung der Cross-Kovarianz" angesehen werden kann? $β = (X^{⊤} X + λ I)^{- 1} (X^{⊤} y + λ β_{0}),$ $\beta = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} (\mathbf X^\top \mathbf y + \lambda \beta_0),$

— Amöbe sagt Reinstate Monica
quelle

1

Könnten Sie erklären , warum das Hinzufügen

zu

bedeutet , dass die Kovarianzmatrix von

zu einer Diagonalmatrix geschrumpft ist? Dies ist eine rein lineare Algebra-Frage, nehme ich an.

λ I_{D}

$\lambda I_D$

X^{'} X

$X'X$

X

$X$

— Heisenberg

3

@Heisenberg, nun,

ist die Kovarianzmatrix von

(bis zu einem

Skalierungsfaktor). Für die Berechnung von

muss diese Kovarianzmatrix invertiert werden. In der Ridge-Regression invertieren wir stattdessen

, sodass man

als regulierte Schätzung der Kovarianzmatrix sehen kann. Nun ist der Term

eine Diagonalmatrix mit

auf der Diagonale. Stellen Sie sich vor, dass

sehr groß ist; dann wird die Summe vom diagonalen Term

dominiert

X^{⊤} X

$X^\top X$

X

$X$

1 / N

$1/N$

β

$\beta$

X^{⊤} X + λ I

$X^\top X + \lambda I$

X^{⊤} X + λ I

$X^\top X + \lambda I$

λ I

$\lambda I$

λ

$\lambda$

λ

$\lambda$

, und so wird die regulierte Kovarianz mitwachsendem

immer diagonaler.

λ I

$\lambda I$

λ

$\lambda$

— Amöbe sagt Reinstate Monica

In Q5, Elemente des statistischen Lernens, werden Glättungsbeschränkungen für Bildverarbeitungsanwendungen (PDA - Seite 447)

— seanv507,

10

Ein weiterer Kommentar zu Frage 4. Tatsächlich geht die Gratregression ziemlich effektiv mit den kleinen Eigenwerten von während die großen Eigenwerte meistens in Ruhe gelassen werden. $X^{T}X$

Um dies zu sehen, drücken Sie den Gratregressionsschätzer in Form der Singularwertzerlegung von . $X$

X = \sum_{i = 1}^{n} σ_{i} u_{i} v_{i}^{T}

$X=\sum_{i=1}^{n} \sigma_{i}u_{i}v_{i}^{T}$

wobei die -Vektoren zueinander orthogonal sind und die -Vektoren ebenfalls zueinander orthogonal sind. Hier werden die Eigenwerte von sind , . $u_{i}$ $v_{i}$ $X^{T}X$ $\sigma_{i}^{2}$ $i=1, 2, \ldots, n$

Dann kannst du das zeigen

β_{ridge} = \sum_{i = 1}^{n} \frac{σ_{i}^{2}}{σ_{i}^{2} + λ} \frac{1}{σ_{i}} (u_{i}^{T} y) v_{i} .

$\beta_{\mbox{ridge}}=\sum_{i=1}^{n} \frac{\sigma_{i}^{2}}{\sigma_{i}^{2}+\lambda}\frac{1}{\sigma_{i}} (u_{i}^{T}y) v_{i}.$

Betrachten Sie nun die "Filterfaktoren" . Wenn , sind die Filterfaktoren 1 und wir erhalten die konventionelle Lösung der kleinsten Quadrate. Wenn und , dann wird der Filterfaktor ist im Wesentlichen 1. Wenn , dann ist dieser Faktor im Wesentlichen gleich 0. Somit sind die Bedingungen für die kleinen Eigenwerten effektiv ausfallen, während die auf die entsprechenden größere Eigenwerte bleiben erhalten. $\sigma_{i}^{2}/(\sigma_{i}^{2}+\lambda)$ $\lambda=0$ $\lambda > 0$ $\sigma_{i}^{2} \gg \lambda$ $\sigma_{i}^{2} \ll \lambda$

Im Vergleich dazu verwendet die Regression der Hauptkomponenten in dieser Formel einfach die Faktoren 1 (für die größeren Eigenwerte) oder 0 (für die kleineren Eigenwerte, die fallengelassen werden).

— Brian Borchers
quelle

1

Genau darauf habe ich in meiner Antwort kurz hingewiesen, aber es ist sehr schön, wenn ich es mathematisch erarbeiten und demonstrieren lasse, +1.

— Amöbe sagt Reinstate Monica

5

$X$ $X$

λ x + y = κ (α x + (1 - α) y),

$\lambda x + y = \kappa \left( \alpha x + (1-\alpha) y\right),$

α = \frac{λ}{1 + λ}

$\alpha=\frac{\lambda}{1+\lambda}$

κ = 1 + λ

$\kappa = 1+\lambda$

0 \leq λ < + \infty

$0 \leq \lambda < + \infty$

0 < α \leq 1

$0 < \alpha \leq 1$

Die Technik, die Sie als "nur die singulären oder nahezu singulären Werte angreifen" bezeichnen, wird auch als Singular Spectrum Analysis (zum Zweck der linearen Regression) bezeichnet (siehe Gleichung 19). Wenn Sie mit "angreifen" "Entfernen" meinen ". Die Cross-Kovarianz bleibt unverändert.

$X$

— Vincent Guillemot
quelle

Vielen Dank. In der PCR wird die Kovarianz mit y berechnet, nachdem die Dimensionsverringerung durchgeführt wurde. Ist das der Unterschied zwischen PCR und SSA? Dein Gamma (nicht meins), wie wählst du das so aus, dass Alpha [0,1] begrenzt wird?

— Cagdas Ozgenc

1

γ

$\gamma$

κ

$\kappa$

Ich denke, Sie haben Recht mit dem Unterschied zwischen SSA und PCR. Wir sollten es jedoch aufschreiben, um sicherzugehen.

— Vincent Guillemot