Splines gegen Gaußsche Prozessregression

14

Ich weiß, dass die Gaußsche Prozessregression (GPR) eine Alternative zur Verwendung von Splines zur Anpassung flexibler nichtlinearer Modelle ist. Ich würde gerne wissen, in welchen Situationen eine besser geeignet ist als die andere, insbesondere im Rahmen der Bayes'schen Regression.

Ich habe bereits nachgesehen. Was sind die Vor- / Nachteile der Verwendung von Splines, geglätteten Splines und Gaußschen Prozessemulatoren? Aber in diesem Beitrag scheint es nichts über GPR zu geben.

— ved
quelle

Ich würde sagen, dass GP ein eher datengetriebener Ansatz zur Anpassung einer nichtlinearen Funktion ist. Die Splines sind typischerweise auf das n-te Polynom beschränkt. Die GPs können komplexere Funktionen als Polynome modellieren (allerdings nicht zu 100% sicher).

— Vladislavs Dovgalecs

14

Ich stimme der Antwort von @j__ zu.

Ich möchte jedoch darauf hinweisen , dass Splines nur ein Sonderfall der Gaußschen Prozessregression / Kriging sind .

Wenn Sie einen bestimmten Kerneltyp in der Gaußschen Prozessregression verwenden, erhalten Sie genau das Spline-Anpassungsmodell.

Diese Tatsache wird in dieser Arbeit von Kimeldorf und Wahba (1970) bewiesen . Es ist eher technisch, da es die Verknüpfung zwischen den in kriging und Reproducing Kernel Hilbert Spaces (RKHS) verwendeten Kerneln verwendet.

— Pop
quelle

2

Im eindimensionalen Fall ist das GP-Modell für den berühmten Glättungs-Spline einfach ein doppelt integriertes Gaußsches Weißes Rauschen. Dies wurde von Craig Ansley und Robert Kohn verwendet, um Ende der 1980er Jahre effiziente Algorithmen zu entwerfen. Ich glaube, dass diese Entsprechung teilweise verstanden werden kann, ohne in die Tiefenmathematik von RKHS einzutauchen.

— Yves

Das ist eine sehr gute Antwort.

— Astrid

6

Es ist eine sehr interessante Frage: Das Äquivalent zwischen Gaußschen Prozessen und Glättungssplines wurde in Kimeldorf und Wahba 1970 gezeigt. Die Verallgemeinerung dieser Entsprechung im Fall der beschränkten Interpolation wurde in Bay et al. 2016.

Bay et al. 2016. Verallgemeinerung der Kimeldorf-Wahba-Korrespondenz für beschränkte Interpolation. Elektronisches Statistik-Journal.

In dieser Arbeit wurde der Vorteil des Bayes'schen Ansatzes diskutiert.

— Maatouk Hassan
quelle

2

Ich stimme dem Kommentar von @ xeon zu, dass GPR auch eine Wahrscheinlichkeitsverteilung über eine unendliche Anzahl möglicher Funktionen erstellt. Die mittlere Funktion (die splineartig ist) ist nur die MAP-Schätzung, aber Sie haben auch eine Abweichung davon. Dies ermöglicht großartige Möglichkeiten wie das experimentelle Design (Auswahl von Eingabedaten, die maximal informativ sind). Auch wenn Sie eine Integration (Quadratur) des Modells durchführen möchten, hat ein GP ein Gauß-Ergebnis, das es Ihnen ermöglicht, Ihrem Ergebnis Vertrauen zu verleihen. Zumindest bei Standard-Spline-Modellen ist dies nicht möglich.

In der Praxis liefert GPR (meiner Erfahrung nach) ein informativeres Ergebnis, aber Spline-Modelle scheinen meiner Erfahrung nach schneller zu sein.

— j__
quelle