Verwirrung im Zusammenhang mit der prädiktiven Verteilung von Gaußschen Prozessen

8

Ich habe diese Verwirrung im Zusammenhang mit der prädiktiven Verteilung des Gaußschen Prozesses. Ich habe diese Zeitung gelesen

Geben Sie hier die Bildbeschreibung ein

Ich habe nicht verstanden, wie die Integration zu diesem Ergebnis geführt hat. Was ist P (u * | x *, u)? Wie kommt es auch, dass die Kovarianz der posterioren Verteilung $\sigma^2(\sigma^2I+K)^{-1}K$

regression normal-distribution gaussian-process

— user34790
quelle

+1, ich habe so ziemlich das gleiche Problem. Nachdem ich im Internet gesucht hatte, fand ich etwas verwirrenderes. Siehe diese Vorlesungsunterlagen von Rasmussen, videolectures.net/site/normal_dl/tag=12546/… .

— Avocado

4

$P(u*|x*,u) ~ N(u(x*)$ , ), direkt aus der Definition von . $\sigma^2$ $u*$

Beachten Sie, dass die Integration von zwei Gaußschen PDF-Dateien normalisiert ist. Es kann aus der Tatsache gezeigt werden, dass

\int_{- \infty}^{\infty} P (u^{*} | x^{*}, u) d u^{*} = \int_{- \infty}^{\infty} \int_{u} P (u^{*} | x^{*}, u) P (u | s) d u d u^{*} = \int_{u} P (u | s) \int_{- \infty}^{\infty} P (u^{*} | x^{*}, u) d u^{*} d u = \int_{u} P (u | s) \int_{- \infty}^{\infty} N (u^{*} - u (x *); 0, σ^{2}) d u^{*} d u = \int_{u} P (u | s) d u \int_{- \infty}^{\infty} N (u^{*}; 0, σ^{2}) d u^{*} = 1

$\int_{-\infty}^{\infty}P(u^*|x^*, u)du^* =\int_{-\infty}^{\infty}\int_{u}P(u^*|x^*, u)P(u|s)dudu^* =\int_{u}P(u|s)\int_{-\infty}^{\infty}P(u^*|x^*, u)du^*du =\int_{u}P(u|s)\int_{-\infty}^{\infty}N(u^*-u(x*); 0, \sigma^2)du^*du =\int_{u}P(u|s)du\int_{-\infty}^{\infty}N(u^*; 0, \sigma^2)du^* =1$

Mit Normalisierung aus dem Weg,

$\int_{u}P(u^*|x^*, u)P(u|s)du$ wird durch die folgenden Tipps integriert:

Setzen Sie die 2 normalen PDF-Dateien in die Gleichung ein und entfernen Sie die von unabhängigen Terme , wie wir bereits gezeigt haben. $u$
Verwenden Sie den quadratischen Trick, um multivariates Exponential zu integrieren, dh erstellen Sie ein multivariates normales PDF mit den verbleibenden Exponentialtermen. Sehen Sie sich dieses youTube-Video an .
Schließlich bleibt Ihnen ein Exponential in Bezug auf , es kann beobachtet werden, dass dies wieder ein Faktor ist, der von einem normalen PDF abweicht. Auch hier gibt uns der Normalisierungsnachweis das Vertrauen, dass die endgültige Form tatsächlich ein normales PDF ist. Das PDF ist das gleiche wie im Originalbeitrag. $u^*$

— Ruohan Wang
quelle

1

Dies sollte die akzeptierte Antwort sein, da sie die Frage tatsächlich beantwortet.

— Michael

2

Die detaillierten Ableitungen der Gleichungen für die bedingte Verteilung eines Gaußschen Prozesses finden Sie in Kapitel 2 und Anhang A des Buches [Rasmussen2005].

Schauen Sie sich (Gl. 2.23, 2.24) und höher an, die auf den Gaußschen Identitäten (A.6) und der Matrixeigenschaft (A.11) basieren.

[Rasmussen2005] CE Rasmussen und C. Williams. Gaußsche Prozesse für maschinelles Lernen . MIT Press, 2005.

— Emile
quelle

Ich habe das gleiche Problem wie das OP, und ich muss sagen, ich habe die detaillierten Ableitungen im GPML-Buch nicht herausgefunden. Und ich war weiter verwirrt, nachdem ich die Vorlesungsunterlagen gelesen hatte, die ich im obigen Kommentar gepostet hatte. In diesen Anmerkungen unterscheidet sich das von Rasmussen angegebene hintere von dem in der OP-Gleichung . Ich habe die Ableitung selbst vorgenommen und bin damit einverstanden, dass das hintere mit Gleichung identisch ist. Ich denke sogar, dass Rasmussens Vorlesungsnotizen an dieser Stelle falsch sein könnten. Wenn ich etwas verpasse oder einen Fehler mache, korrigieren Sie mich bitte. Und ich hoffe, dass Sie die Ableitung näher erläutern konnten.

p (u | S)

$p(u|S)$

(5)

$(5)$

p (u | S)

$p(u|S)$

(5)

$(5)$

— Avocado

Dies beantwortet die Fragen nicht.

— Nathan Explosion

@avocado Mir ist klar, dass dies viele Jahre zu spät ist, aber falls dies Ihnen (oder anderen) noch helfen kann, beachten Sie bitte, dass genau gleich ist zu sowie zu . Der hintere Teil entspricht also der OP-Gleichung (5), und wie in Rasmussens Vorlesungsunterlagen angegeben, werden sie nur unterschiedlich ausgedrückt.

K - K (K + σ^{2} I)^{- 1} K

$K - K(K + \sigma^2 I)^{-1}K$

σ^{2} (K + σ^{2} I)^{- 1} K

$\sigma^2 (K + \sigma^2 I)^{-1} K$

σ^{2} I - σ^{2} I (K + σ^{2} I)^{- 1} σ^{2} I

$\sigma^2 I - \sigma^2 I (K + \sigma^2 I)^{-1} \sigma^2 I$

— duckmayr