Wie unterschiedlich sind eingeschränkte kubische Splines und bestrafte Splines?

Ich lese viel über die Verwendung von Splines bei verschiedenen Regressionsproblemen. Einige Bücher (z. B. Hodges Richly Parrameterized Linear Models ) empfehlen bestrafte Splines. Andere (z. B. Harrell- Regressionsmodellierungsstrategien ) entscheiden sich für eingeschränkte kubische Splines.

Wie unterschiedlich sind diese in der Praxis? Würden Sie oft wesentlich andere Ergebnisse erzielen, wenn Sie das eine oder das andere verwenden? Hat der eine oder andere besondere Vorteile?

Nach meiner Lektüre sind die beiden Konzepte, die Sie uns vergleichen lassen, ganz unterschiedliche Tiere und würden einen Vergleich zwischen Äpfeln und Orangen erfordern. Dies macht viele Ihrer Fragen etwas umstritten - im Idealfall (vorausgesetzt, man kann eine Wackelstrafe für die RCS-Basis in der erforderlichen Form aufschreiben) würden Sie ein bestraftes eingeschränktes kubisches Regressions-Spline-Modell verwenden.

Eingeschränkte kubische Splines

Ein eingeschränkter kubischer Spline (oder ein natürlicher Spline) ist eine Spline-Basis, die aus stückweise kubischen Polynomfunktionen aufgebaut ist, die sich an bestimmten vordefinierten Stellen oder Knoten reibungslos verbinden. Was einen eingeschränkten kubischen Spline von einem kubischen Spline unterscheidet, ist, dass der eingeschränkten Version zusätzliche Einschränkungen auferlegt werden, so dass der Spline vor dem ersten Knoten und nach dem letzten Knoten linear ist. Dies geschieht, um die Leistung des Splines in den Schwänzen von zu verbessern .$X$

Die Modellauswahl mit einem RCS umfasst normalerweise die Auswahl der Anzahl der Knoten und ihrer Position, wobei die erstere bestimmt, wie wackelig oder komplex der resultierende Spline ist. Sofern keine weiteren Schritte zur Regularisierung der geschätzten Koeffizienten bei der Modellanpassung vorhanden sind, steuert die Anzahl der Knoten direkt die Spline-Komplexität.

Dies bedeutet, dass der Benutzer einige Probleme zu überwinden hat, wenn er ein Modell schätzt, das einen oder mehrere RCS-Begriffe enthält:

1. Wie viele Knoten sollen verwendet werden?
2. Wo sollen diese Knoten in der Spanne von ?$X$
3. Wie vergleiche ich Modelle mit unterschiedlicher Knotenzahl?

RCS-Begriffe erfordern für sich genommen ein Eingreifen des Benutzers, um diese Probleme zu lösen.

Bestrafte Splines

Bestrafte Regressionssplines (sensu Hodges) nur für ihr eigenes Problem 3. Sie ermöglichen jedoch die Umgehung von Problem 1 . Die Idee hier ist, dass Sie neben der Basiserweiterung von , und nehmen wir zunächst einmal an, dass dies eine kubische Spline-Basis ist, auch eine Wiggliness-Strafmatrix erstellen. Die Wackeligkeit wird unter Verwendung einer Ableitung des geschätzten Splines gemessen, wobei die typische verwendete Ableitung die zweite Ableitung ist und die Strafe selbst die quadratische zweite Ableitung darstellt, die über den Bereich von . Diese Strafe kann in quadratischer Form als geschrieben werden$X$$X$

$$\boldsymbol{\beta}^{\mathsf{T}} \boldsymbol{S} \boldsymbol{\beta}$$

Dabei ist eine Strafmatrix und die Modellkoeffizienten. Dann werden Koeffizientenwerte gefunden, um die bestrafte log-Wahrscheinlichkeit ceriterion zu maximieren$\boldsymbol{S}$$\boldsymbol{\beta}$$\mathcal{L}_p$

$$\mathcal{L}_p = \mathcal{L} - \lambda \boldsymbol{\beta}^{\mathsf{T}} \boldsymbol{S} \boldsymbol{\beta}$$

Dabei ist die Log-Wahrscheinlichkeit des Modells und der Glättungsparameter, der steuert, wie stark die Wackeligkeit des Splines bestraft wird.$\mathcal{L}$$\lambda$

Da die bestrafte Log-Wahrscheinlichkeit in Bezug auf die Modellkoeffizienten bewertet werden kann, wird die Anpassung dieses Modells effektiv zu einem Problem beim Finden eines optimalen Werts für während die Koeffizienten während der Suche nach diesem optimalen aktualisiert werden .$\lambda$$\lambda$

$\lambda$ kann unter Verwendung von Kreuzvalidierungs-, generalisierten Kreuzvalidierungs- (GCV) oder Grenzwahrscheinlichkeits- oder eingeschränkten Grenzwahrscheinlichkeitskriterien ausgewählt werden. Die beiden letzteren fassen das Spline-Modell effektiv als Modell mit gemischten Effekten um (die perfekt glatten Teile der Basis werden zu festen Effekten, und die wackeligen Teile der Basis sind zufällige Effekte, und der Glättungsparameter steht in umgekehrter Beziehung zum Varianzterm für die zufälligen Effekte ), worüber Hodges in seinem Buch nachdenkt.

Warum löst dies das Problem, wie viele Knoten verwendet werden sollen? Nun, das macht es nur irgendwie. Dies löst das Problem, dass nicht an jedem eindeutigen Datenpunkt ein Knoten erforderlich ist (ein Glättungs-Spline), Sie jedoch dennoch auswählen müssen, wie viele Knoten oder Basisfunktionen verwendet werden sollen. Da die Strafe jedoch die Koeffizienten verkleinert, können Sie mit der Auswahl einer so großen Basisdimension davonkommen, wie Sie es für erforderlich halten, um entweder die wahre Funktion oder eine enge Annäherung daran zu enthalten, und dann lassen Sie die Strafe steuern, wie wackelig der geschätzte Spline letztendlich ist ist, wobei die zusätzliche potenzielle Wackeligkeit, die in der Basis verfügbar ist, durch die Strafe beseitigt oder kontrolliert wird.

Vergleich

Bestrafte (Regressions-) Splines und RCS sind ganz unterschiedliche Konzepte. Nichts hindert Sie daran, eine RCS-Basis und eine damit verbundene Strafe in quadratischer Form zu erstellen und dann die Spline-Koeffizienten anhand der Ideen aus dem bestraften Regressions-Spline-Modell zu schätzen.

RCS ist nur eine Art von Basis, auf der Sie eine Spline-Basis erstellen können, und bestrafte Regressionssplines sind eine Möglichkeit, ein Modell zu schätzen, das einen oder mehrere Splines mit zugehörigen Wackelstrafen enthält.

Können wir die Probleme 1., 2. und 3. vermeiden?

Ja, bis zu einem gewissen Grad auf TPS-Basis (Thin Plate Spline). Ein TPS Basis hat so viele Basisfunktionen als eindeutige Datenwerte in . Was Wood (2003) gezeigt hat, war, dass Sie eine TPRS-Basis ( Thin Plate Regression Spline) erstellen können, die eine Eigendekomposition der TPS-Basisfunktionen verwendet und nur das erste größte Mitspracherecht beibehält . Sie müssen noch angeben$X$k k$k$$k$, die Anzahl der Basisfunktionen, die Sie verwenden möchten, aber die Auswahl hängt im Allgemeinen davon ab, wie wackelig Sie die angepasste Funktion erwarten und wie viel Rechenleistung Sie bereit sind zu nehmen. Es ist auch nicht erforderlich, die Knotenpositionen anzugeben, und die Strafe verringert die Koeffizienten, sodass das Modellauswahlproblem vermieden wird, da Sie nur ein bestraftes Modell haben, nicht viele nicht bestrafte Modelle mit unterschiedlicher Anzahl von Knoten.

P-Splines

Um die Sache noch komplizierter zu machen, gibt es eine Art Spline-Basis, die als P-Spline bekannt ist (Eilers & Marx, 1996), wobei das oft als "bestraft" interpretiert wird. P-Splines sind eine B-Spline-Basis mit einer Differenzstrafe, die direkt auf die Modellkoeffizienten angewendet wird. In der typischen Verwendung bestraft die P-Spline-Strafe die quadratischen Unterschiede zwischen benachbarten Modellkoeffizienten, was wiederum die Wackeligkeit bestraft. P-Splines sind sehr einfach einzurichten und führen zu einer spärlichen Strafmatrix, die sie für die Schätzung von Spline-Termen in MCMC-basierten Bayes'schen Modellen sehr zugänglich macht (Wood, 2017).$P$

Verweise

Eilers, PHC und BD Marx. 1996. Flexibles Glätten mit Linien und Strafen. Stat. Sci.

Wood, SN 2003. Dünne Plattenregressionssplines. JR Stat. Soc. Serie B Stat. Methodol. 65: 95–114. doi: 10.1111 / 1467-9868.00374

Wood, SN 2017. Verallgemeinerte additive Modelle: Eine Einführung mit R, Second Edition, CRC Press.