Wie vergleicht man zwei Gaußsche Prozesse?

Die Kullback-Leibler-Divergenz ist eine Metrik zum Vergleichen von zwei Wahrscheinlichkeitsdichtefunktionen, aber welche Metrik wird zum Vergleichen von zwei GPs $X$ und $Y$ ?

gaussian-process metric

— Pushkar
quelle

d (X, Y) = E [sup_{t} | X (t) - Y (t) |]

$d(X,Y)=\mathbb{E}\left[ \sup_t |X(t)-Y(t)| \right]$

@Zen: Wenn Sie Zeit haben, bin ich daran interessiert, mehr über diese Entfernungsmetrik zu erfahren.

— Neil G

Hallo Neil. Ich weiß nicht viel darüber. Bitte, siehe meine Antwort unten.

— Zen

Antworten:

Beachten Sie, dass die Verteilung der Gaußschen Prozesse die Erweiterung des multivariaten Gaußschen Prozesses für möglicherweise unendlich . Daher können Sie die KL-Divergenz zwischen den GP-Wahrscheinlichkeitsverteilungen verwenden, indem Sie über : $\mathcal{X}\to\mathbb{R}$ $\mathcal{X}$ $\mathbb{R}^\mathcal{X}$

D_{K L} (P | Q) = \int_{R^{X}} \log \frac{d P}{d Q} d P .

$D_{KL}(P|Q)=\int_{\mathbb{R}^\mathcal{X}} \log \frac{dP}{dQ} dP\,.$

Sie können MC-Methoden verwenden, um diese Menge über ein diskretisiertes numerisch zu approximieren, indem Sie Prozesse entsprechend ihrer GP-Verteilung wiederholt abtasten. Ich weiß nicht, ob die Konvergenzgeschwindigkeit ausreichend gut ist ... $\mathcal{X}$

Beachten Sie, dass wenn endlich ist mit , Sie auf die übliche KL-Divergenz für multivariate Normalverteilungen zurückgreifen: $\mathcal{X}$ $|\mathcal{X}|=n$

D_{K L} (G P (μ_{1}, K_{1}), G P (μ_{2}, K_{2})) = \frac{1}{2} (t r (K_{2}^{- 1} K_{1}) + (μ_{2} - μ_{1})^{⊤} K_{2}^{- 1} (μ_{2} - μ_{1}) - n + \log \frac{| K_{2} |}{| K_{1} |})

$D_{KL}\big(\mathcal{GP}(\mu_1,K_1), \mathcal{GP}(\mu_2,K_2)\big) = \frac 1 2 \Big(tr(K_2^{-1}K_1) + (\mu_2\!-\!\mu_1)^\top K_2^{-1}(\mu_2\!-\!\mu_1)-n+\log\frac{|K_2|}{|K_1|}\Big)$

— Emile
quelle

Wie kann ich zwei von Ihnen erwähnte Mittelwerte (mu1 und mu2) berechnen? Oder sollte ich sie wie üblich für den Gauß-Prozess auf Null setzen?

— Marat Zakirov

Denken Sie daran, dass, wenn ein Gauß'scher Prozess mit der mittleren Funktion und der Kovarianzfunktion ist, für jeden der Zufallsvektor hat eine multivariate Normalverteilung mit mittlerem Vektor und Kovarianzmatrix , wobei wir die gebräuchliche Abkürzung . $X:T\times \Omega\to\mathbb{R}$ $m$ $K$ $t_1,\dots,t_k\in T$ $(X(t_1),\dots,X(t_k))$ $(m(t_1),\dots,m(t_k))$ $\Sigma=(\sigma_{ij})=(K(t_i,t_j))$ $X(t)=X(t,\,\cdot\,)$

Jede Realisierung ist eine reelle Funktion, deren Domäne die Indexmenge . Angenommen, . Gegeben seien zwei Gaußprozesse und , einen gemeinsamen Abstand zwischen zwei Realisierungen und ist. Daher erscheint es natürlich, den Abstand zwischen den beiden Prozessen und als $X(\,\cdot\,,\omega)$ $T$ $T=[0,1]$ $X$ $Y$ $X(\,\cdot\,,\omega)$ $Y(\,\cdot\,,\omega)$ $\sup_{t\in[0,1]} |X(t,\omega) - Y(t,\omega)|$ $X$ $Y$

d (X, Y) = E [sup_{t \in [0, 1]} | X (t) - Y (t) |] . (*)

$d(X,Y) = \mathbb{E}\!\left[\sup_{t\in[0,1]} \left| X(t) - Y(t)\right|\right] \, . \qquad (*)$ Ich weiß nicht, ob es einen analytischen Ausdruck für diese Distanz gibt, aber ich glaube, Sie können eine Monte-Carlo-Näherung wie folgt berechnen. Fixiere ein feines Gitter und ziehe Proben und aus die normalen Zufallsvektoren und , jeweils für . Ungefähre durch

0 \leq t_{1} < \dots < t_{k} \leq 1

$0\leq t_1<\dots<t_k\leq 1$

(x_{i 1}, \dots, x_{i k})

$(x_{i1},\dots,x_{ik})$

(y_{i 1}, \dots, y_{i k})

$(y_{i1},\dots,y_{ik})$

(X (t_{1}), \dots, X (t_{k}))

$(X(t_1),\dots,X(t_k))$

(Y (t_{1}), \dots, Y (t_{k}))

$(Y(t_1),\dots,Y(t_k))$

i = 1, \dots, N

$i=1,\dots,N$

d (X, Y)

$d(X,Y)$

\frac{1}{N} \sum_{i = 1}^{N} max_{1 \leq j \leq k} | x_{i j} - y_{i j} | .

$\frac{1}{N} \sum_{i=1}^N \max_{1\leq j\leq k} |x_{ij}-y_{ij}| \, .$

— Zen
quelle

Wie wird aus jedem Vektor eine Stichprobe erstellt? Wenn Sie nur die Mittelwerte in den einzelnen Hausärzten abtasten, berücksichtigen Sie die Abweichungen nicht. Andernfalls müssen Sie eine konsistente Stichprobentechnik entwickeln.

— Pushkar

Dies ist eine hervorragende Ressource: gaussianprocess.org/gpml/chapters

— Zen

Sie können auch alle Antworten auf diese Frage lesen: stats.stackexchange.com/questions/30652/…

— Zen

Achten Sie darauf, dass dies keine Distanz ist, da . Da die KL zwei Verteilungen und nicht zwei Realisierungen vergleicht, sollte der Zen-Abstand zwischen zwei GPs definiert werden als , und wir haben das für nicht degeneriert Gaußprozess .

d (X, X) \neq 0

$d(X,X) \neq 0$

d (G_{1}, G_{2}) = E_{X \sim G_{1}, Y \sim G_{2}} [sup_{t} | X (t) - Y (t) |]

$d(G_1,G_2)=\mathbb{E}_{X\sim G_1, Y\sim G_2}[\sup_t |X(t)-Y(t)|]$

E_{X \sim G, Y \sim G} sup_{t} | X (t) - Y (t) | > 0

$\mathbb{E}_{X\sim G, Y\sim G} \sup_t |X(t)-Y(t)| > 0$

G

$G$

— Emile

@Emile: wie kommt es, dass mit der Definition ?

d (X, X) \neq 0

$d(X,X)\neq 0$

(*)

$(*)$

— Zen