Was ist der Grund für die Matérn-Kovarianzfunktion?

19

Die Matérn-Kovarianzfunktion wird üblicherweise als Kernel-Funktion im Gaußschen Prozess verwendet. Es ist so definiert

C_{ν} (d) = σ^{2} \frac{2^{1 - ν}}{Γ (ν)} (\sqrt{2 ν} \frac{d}{ρ})^{ν} K_{ν} (\sqrt{2 ν} \frac{d}{ρ})

$C_{\nu }(d)=\sigma ^{2}{\frac {2^{1-\nu }}{\Gamma (\nu )}}{\Bigg (}{\sqrt {2\nu }}{\frac {d}{\rho }}{\Bigg )}^{\nu }K_{\nu }{\Bigg (}{\sqrt {2\nu }}{\frac {d}{\rho }}{\Bigg )}$

Dabei ist eine Abstandsfunktion (wie die euklidische Distanz), ist die Gammafunktion, ist die modifizierte Bessel-Funktion der zweiten Art, und sind positive Parameter. wird in der Praxis viel Zeit für oder . $d$ $\Gamma$ $K_\nu$ $\rho$ $\nu$ $\nu$ $\frac{3}{2}$ $\frac{5}{2}$

Viel Zeit arbeitet dieser Kernel besser als der Standard-Gauß-Kernel, da er "weniger flüssig" ist. Aber gibt es einen anderen Grund, warum man diesen Kernel bevorzugen würde? Eine geometrische Vorstellung davon, wie es sich verhält, oder eine Erklärung für die scheinbar kryptische Formel wären sehr willkommen.

spatial gaussian-process kernel-trick

— Haochi Kiang
quelle

18

Zusätzlich zu @DahnJahns netter Antwort dachte ich, ich würde versuchen, ein bisschen mehr darüber zu sagen, woher die Bessel- und Gammafunktionen kommen. Ein Ausgangspunkt, um zur Kovarianzfunktion zu gelangen, ist der Bochner-Satz.

Theorem (Bochner) Eine stetige stationäre Funktion ist genau dann positiv, wenn die Fouriertransformation eines endlichen positiven Maßes ist: $k(x, y) = \widetilde{k}(|x − y|)$ $\widetilde{k}$
$\tilde{k} (t) = \int_{R} e^{- i ω t} d µ (ω)$ $\widetilde{k}(t) = \int_{\mathbb{R}} e^{−iωt}dµ(ω)$

Daraus können Sie schließen, dass die Matérn-Kovarianzmatrix als Fourier-Transformation von (Source) abgeleitet ist . Das ist alles gut, aber es sagt uns nicht wirklich, wie Sie zu diesem endlichen positiven Maß kommen, das durch . Nun, es ist die (Leistungs-) Spektraldichte eines stochastischen Prozesses . $\frac{1}{(1+\omega^2)^p}$ $\frac{1}{(1+\omega^2)^p}$ $f(x)$

Welcher stochastische Prozess? Es ist bekannt, dass ein zufälliger Prozess auf mit einer Matérn-Kovarianzfunktion eine Lösung für die stochastische partielle Differentialgleichung (SPDE) wobei Gaußsches weißes Rauschen mit Einheitsvarianz ist, ist der Laplace-Operator, und (Ich denke, das ist in Cressie und Wikle ). $\mathbb{R}^d$

(κ^{2} - ∆)^{α / 2} X (s) = φ W (s),

$(κ^2 − ∆)^{α/2} X(s) = φW(s),$

W (s)

$W(s)$

Δ = \sum_{i = 1}^{d} \frac{\partial^{2}}{\partial x_{i}^{2}}

$\Delta = \sum_{i=1}^d \frac{\partial^2}{\partial x^2_i}$

α = ν + d / 2

$α =ν + d/2$

Warum diesen speziellen SPDE / stochastischen Prozess wählen? Der Ursprung liegt in der räumlichen Statistik, wo argumentiert wird, dass dies die einfachste und natürlichste Kovarianz ist, die in gut funktioniert : $\mathbb{R}^2$

Die exponentielle Korrelationsfunktion ist eine natürliche Korrelation in einer Dimension, da sie einem Markov-Prozess entspricht. In zwei Dimensionen ist dies nicht mehr der Fall, obwohl das Exponential eine häufige Korrelationsfunktion in der geostatistischen Arbeit ist. Whittle (1954) bestimmte die Korrelation, die einer stochastischen Differentialgleichung vom Laplace-Typ entspricht:

$[{(\frac{\partial}{\partial t_{1}})}^{2} + {(\frac{\partial}{\partial t_{2}})}^{2} - κ^{2}] X (t_{1}, t_{2}) = ϵ (t_{1}, t_{2})$ $\left[ \left(\frac{\partial}{\partial t_1}\right)^2 + \left(\frac{\partial}{\partial t_2}\right)^2 - \kappa^2 \right] X(t_1, t_2) = \epsilon(t_1 , t_2)$ wobei weißes Rauschen ist. Der entsprechende diskrete Gitterprozess ist eine Autoregression zweiter Ordnung. (Quelle) $\epsilon$

Die Familie der in der SDE enthaltenen Prozesse, die mit der Matern-Gleichung assoziiert sind, umfasst das -Ornstein-Uhlenbeck-Modell der Geschwindigkeit eines Teilchens, das einer Brownschen Bewegung unterliegt. Im Allgemeinen können Sie ein Leistungsspektrum für eine Familie von -Prozessen für jede Ganzzahl die auch eine Kovarianz der Matérn-Familie aufweist. Dies ist im Anhang von Rasmussen und Williams. $AR(1)$ $AR(p)$ $p$

Diese Kovarianzfunktion steht in keinem Zusammenhang mit dem Matérn-Cluster-Prozess.

Verweise

Cressie, Noel und Christopher K. Wikle. Statistik für raum-zeitliche Daten. John Wiley & Sons, 2015.

Guttorp, Peter und Tilmann Gneiting. "Studien zur Wahrscheinlichkeitsgeschichte und Statistik XLIX Über die Matern-Korrelationsfamilie." Biometrika 93.4 (2006): 989 & ndash; 995.

Rasmussen, CE und Williams, CKI Gaußsche Prozesse für maschinelles Lernen. die MIT Presse, 2006.

— MachineEpsilon
quelle

2

Im eindimensionalen Fall ist die Matern-Kovarianz mit der Form mit einer positiven ganzen Zahl die eines AutoRegressiven Prozesses mit kontinuierlicher Zeit der Ordnung . Allerdings haben nicht alle -Modelle eine Matern-Kovarianz.

ν = p - 1 / 2

$\nu = p - 1/2$

p

$p$

CAR (p)

$\text{CAR}(p)$

p

$p$

CAR (p)

$\text{CAR}(p)$

— Yves

Das ist ein offensichtliches Missverständnis von meiner Seite, ich werde die Antwort aktualisieren. Vielen Dank!

— MachineEpsilon

16

Ich weiß es nicht, aber ich fand diese Frage sehr interessant und hier ist, was ich nach ein bisschen Lesen darauf bekam.

Für bestimmte Werte von kann die Matérn-Kovarianzfunktion als Produkt eines Exponentials und eines Polynoms ausgedrückt werden. ZB für : Es ist dann , dass nicht allzu überraschend, da , tatsächlich konvergiert zum Gaußschen RBF : Für , die Matérn-Kovarianzfunktion ergibt den absolut exponentiellen Kern $\nu$ $\nu = 5/2$

C_{5 / 2} (d) = σ^{2} (1 + \frac{\sqrt{5} d}{ρ} + \frac{5 d^{2}}{3 ρ^{2}}) \exp (- \frac{\sqrt{5} d}{ρ})

$C_{5/2}(d) = \sigma^2\left(1 + \frac{\sqrt 5 d}{\rho} + \frac{5d^2}{3\rho^2} \right) \exp \left(- \frac{\sqrt 5 d}{\rho}\right)$

ν \to \infty

$\nu \to \infty$

C_{ν}

$C_\nu$

lim_{ν \to \infty} C_{ν} (d) = σ^{2} \exp (- \frac{d^{2}}{2 ρ^{2}})

$\lim_{\nu \to \infty} C_\nu(d) = \sigma^2 \exp \left( -\frac{d^2}{2\rho^2}\right)$

ν = 1 / 2

$\nu = 1/2$

C_{1 / 2} (d) = σ^{2} \exp (- \frac{d}{ρ})

$C_{1/2}(d) = \sigma^2 \exp\left( -\frac{d}{\rho} \right)$

Weiterhin ist ein Gaussian Prozess mit der Matern Kovarianzfunktion mit Parameter IS -Zeit differenzierbar . $\nu$ $\lceil \nu \rceil -1$

Dies wird auf einem Bild von Rasmussen & Williams (2006) recht gut demonstriert.

In Interpolation of Spatial Data argumentiert Stein (der tatsächlich den Namen der Matérn-Kovarianzfunktion vorschlug) (S. 30), dass die unendliche Differenzierbarkeit der Gaußschen Kovarianzfunktion unrealistische Ergebnisse für physikalische Prozesse liefert, da nur ein kleiner kontinuierlicher Bruchteil von Raum / Zeit sollte theoretisch die ganze Funktion ergeben. Er schlug daher die Matérn-Version als eine Verallgemeinerung vor, die physikalische Prozesse realistischer abbilden kann.

Zusammenfassung

Die Matérn-Kovarianzfunktion kann als eine Verallgemeinerung der Gaußschen radialen Basisfunktion angesehen werden . Es enthält sogar den absolut exponentiellen Kernel, der radikal unterschiedliche Ergebnisse liefert, und ist aufgrund seiner endlichen Differenzierbarkeit (für endlich ) besser in der Lage, physikalische Prozesse zu erfassen . $\nu$

Was die Rätselhaftigkeit des Erscheinungsbilds der Bessel-Funktion betrifft, würde ich gerne eine weitere Intuition dahinter sehen, aber ich würde vermuten, dass es genau sein (asymptotisches) Verhalten in , das es in diesem Zusammenhang nützlich machte und Stein dazu führte Definieren Sie die Matérn-Kovarianzfunktion. Das schließt natürlich nicht aus, dass es ein schönes Argument dafür gibt, warum all das wahr ist. $\nu$

— Dahn
quelle

1

(+1) Ich war neugierig, ob es eine Erklärung oder Ableitung dieser Kovarianzfunktion in Matérns Buch pub.epsilon.slu.se/10033/1/… gibt . Ich konnte es bisher nicht finden. Diese Kovarianzfunktion scheint in Steins Buch einen sehr wichtigen Platz einzunehmen, daher bin ich sehr daran interessiert, mehr darüber zu erfahren.

— MachineEpsilon

@Machineepsilon erwähnt / definiert Matérn tatsächlich die Funktion? In Steins Buch hatte ich das Gefühl, dass er es sich ausgedacht hat und es nur nach Matérn benannt hat.

— Dahn

Ich bin mir nicht sicher, das wollte ich herausfinden! Ich werde versuchen, einen Blick darauf zu werfen, denn Rasmussen verweist auch auf das Buch.

— MachineEpsilon