Ist die Kernel-Regression der Gaußschen Prozess-Regression ähnlich?

10

Ich habe zuvor die Nadaraya-Watson-Kernel-Regression verwendet, um Daten zu glätten. Kürzlich bin ich auf die Gaußsche Prozessregression gestoßen.

Auf den ersten Blick scheinen sie nicht verwandt zu sein. Aber ich frage mich, ob es vielleicht eine tiefere Verbindung gibt, die mir nicht bewusst ist. Ist die Nadaraya-Watson-Kernel-Regression ein Sonderfall von GPR?

— Demetri Pananos
quelle

6

Ja, es besteht eine Verbindung, abhängig von der GP-Kovarianzfunktion und dem Kernel des Glätters. Es wird in Kapitel 2 (Abschnitt 2.6) der Gaußschen Prozesse für maschinelles Lernen behandelt . Beachten Sie, dass selbst eine einfache Kovarianzfunktion, wie das quadratische Exponential, aufgrund der spektralen Eigenschaften der Funktion zu komplexen äquivalenten Kerneln führt.

Andere Dinge zu beachten sind:

In der multivariaten Umgebung läuft der N-WKR auf eine univariate Regression in jeder Dimension hinaus (siehe diese Antwort), während Allgemeinmediziner die vollständige multivariate Kovarianz modellieren können.
Es gibt kein Äquivalent zur GP-Mittelwertfunktion
Der Kernel in N-WKR muss keine gültige GP-Kovarianzfunktion sein, und es gibt möglicherweise nicht für jeden Kernel eine äquivalente Kovarianzfunktion
Es gibt kein offensichtliches Äquivalent für z. B. periodische Kovarianzfunktionen als Kernelglätter
Bei Hausärzten können Sie Kovarianzfunktionen kombinieren (z. B. durch Multiplikation oder Addition), siehe z. B. das Kernel-Kochbuch

— tdc
quelle

1) Haben Sie ein Zitat für die GP-Regression mit multivariater Antwort? 2) Ich hätte den N-WKR als das Äquivalent zum Mittelwert der GP-Regression interpretiert. Was dem N-WKR fehlt, wäre die Varianz in dieser Interpretation, nicht der Mittelwert. 4) Warum können Sie nicht einfach eine periodische Funktion als Kernel für N-WKR verwenden? N-WKR ist eine Faltung des Kernels und der Daten - falten Sie einfach die Daten mit einer periodischen Funktion. 5) Ich bin mir nicht sicher, ob ich die additiven Kernel in GP noch verstehe.

— Make42

-1

Es besteht ein Zusammenhang darin, dass die Gaußsche Prozessmodellierung eine Kerneltechnik ist, was bedeutet, dass GPMs eine Kernelfunktion verwenden, um eine multivariate Gaußsche Kovarianz zwischen beobachteten Datenpunkten zu beschreiben, und Regression verwendet wird, um die Kernelparameter (Hyperparameter) zu finden, die die beobachteten Daten am besten beschreiben . Die Gaußsche Prozessmodellierung kann aus beobachteten Daten extrapolieren, um eine interpolierende Mittelwertfunktion (mit der durch die Kernelfunktion vorgegebenen Unsicherheit) für jeden Punkt im Raum zu erzeugen.

Im Folgenden finden Sie einige Ressourcen zu GPM, die detailliert beschreiben, welche Arten von Kernelfunktionen normalerweise verwendet werden und welche Ansätze zum Schätzen von Kernel-Hyperparametern verwendet werden:

http://www.gaussianprocess.org/gpml/

http://www.eurandom.tue.nl/events/workshops/2010/YESIV/Prog-Abstr_files/Ghahramani-lecture2.pdf

— T3am5hark
quelle