Warum ist

Bei der Spline-Regression ist es nicht ungewöhnlich, dass die Basiserweiterung eine rangdefiziente Entwurfsmatrix erstellt $B_{n\times p}$Es ist jedoch bekannt, dass die Bestrafung des Schätzverfahrens das Problem löst. Ich weiß nicht, wie ich zeigen soll, dass Bestrafung das bedeutet$B^TB+\lambda\Omega$ist definitiv positiv. (Ich weiß, dass PD-Matrizen invertierbar sind.)

Um die Bühne zu bereiten, suchen wir $\min_{\alpha\in\mathbb{R}^p} \sum_i|| y_i-f(x_i)||^2+\lambda\int_a^b [f''(t)]^2dt$für das durch die Basiserweiterung gegebene f (x) f (x_i) = \ sum_j \ alpha_j h_j (x_i) . Wenn ich die Basisvektoren in B sammle , kann ich ziemlich leicht zeigen, dass sich diese Optimierung auf reduziert$f(x)$$f(x_i)=\sum_j\alpha_j h_j(x_i)$$B$

wobei $\Omega_{ij}=\int_a^b h_j^{\prime\prime}(t) h_i^{\prime\prime}(t)dt$ .

Hier ist meine bisherige Argumentation. Wir wissen, dass $B$ Rangmangel aufweist, weil $p>n$ . Dies impliziert, dass $B^TB$ ebenfalls einen Rangmangel aufweist; Ich kann auch zeigen, dass mindestens ein Eigenwert 0 ist und dass er positiv semidefinit ist.

Aber jetzt stecke ich fest, weil ich nicht weiß, wie ich über $\Omega$ oder zeigen soll, dass $B^TB+\lambda\Omega$ für jedes \ lambda> 0 PD ist $\lambda>0$. Ich weiß, dass $\Omega$ eine Gramm-Matrix ist, aber das bringt uns nur so weit zu zeigen, dass $\Omega$ PSD ist.

Das Zeigen, dass PD ist, bedeutet zu zeigen, dass PD ist. (Vielen Dank an Matthew Gunn für den Hinweis in den Kommentaren.)$B^TB+\lambda\Omega$$\Omega$

Dies liegt daran, dass für den Fall, dass , einen Rangmangel aufweist und daher PSD. Dies liegt daran, dass die quadratische Form weil wir sie als umschreiben können, weil das Quadrat von jeder reellen Zahl ist nicht negativ. Wir haben also denn wenn PD ist, dann ist die Menge ist die Summe einer nichtnegativen und einer positiven Zahl, die positiv sein muss. Daher ist PD, solange PD ist.$B^TB$$p>n$$a^TB^TBa\ge0\forall a\in\{\mathbb{R}^n\setminus0\}$$||Ba||_2^2\ge0$$a^T(B^TB+\Omega)a=a^TB^TBa+a^T\Omega a >0$$\Omega$$a^T\Omega a>0$$a^TB^TBa+a^T\Omega a$$B^TB+\Omega$$\Omega$

Also müssen wir über . Es passt zur Definition einer Gram-Matrix, da es durch das Standard-Innenprodukt für Funktionen gegeben ist (das in der Frage festgelegt ist). Die Basisfunktionen sind linear unabhängig (weil sie eine Basis bilden), daher ist PD.$\Omega$$\Omega$

$\Omega$ ist PD, wenn seine Spalten unabhängig sind. Wir können schreibenWenn die Vektoren von linear abhängig sind , dann haben wir für einige weil per Definition der linearen Abhängigkeit und durch die Eigenschaften der Determinante.$\Omega=A^TA.$$A$$\Omega a=A^TAa=A^T0=0$$a\neq 0$$Aa=0$$|\Omega|=|A^TA|=|A|^2=0$

Es ist leicht zu zeigen, dass dies für jedes ; Es gelten dieselben Argumente, da positive Zahlen unter Multiplikation geschlossen werden.$\lambda>0$