Sind Vorhersagen aus der Bayes'schen Gaußschen Prozessregression normal verteilt?

Dies hängt nicht direkt mit meiner anderen Frage zusammen , obwohl das Thema dasselbe ist. Es ist höchstwahrscheinlich auch eine sehr triviale Frage, aber nehmen Sie sie mit :) Ich habe mit einem Kollegen über die Verwendung der Gaußschen Prozessregression gesprochen und er hat zwei Behauptungen aufgestellt, denen ich nicht zustimme:

1. GPR kann nur verwendet werden, um eine Antwort zu modellieren, wenn die Prädiktoren normal verteilt sind.
2. Die Antwort eines GPR-Modells ist immer normal verteilt.

Ich glaube, dass die erste Behauptung falsch ist (tatsächlich macht GPR überhaupt keine Annahmen über die gemeinsame Verteilung der Prädiktoren), während die zweite nur wahr ist, wenn die Hyperparameter festgelegt sind. Wenn wir jedoch einen voll Bayes - Ansatz folgen, und wir leiten die posterior Wahrscheinlichkeitsverteilung des Hyper, dann die hintere prädiktive Verteilung nicht mehr normal verteilt: es ist nur die Verteilung der Reaktion, bedingt auf den Hyper und die Beobachtungen , die sind normal verteilt. In Formeln:

$$y=f(\mathbf{x})+\epsilon, \quad \epsilon\sim N(0,\sigma^2_{noise})$$

und nimm einen GP vor . Sei eine Menge von Beobachtungen, dann ist die posteriore Wahrscheinlichkeitsverteilung der Hyperparameter$f(\mathbf{x})$$\{(\mathbf{x_1},y_1,)\dots,(\mathbf{x_d},y_d,)\}$

$$p(\boldsymbol{\theta}|\mathbf{y})\propto p(\mathbf{y}|\boldsymbol{\theta})p(\boldsymbol{\theta})$$

Nun ist die Verteilung eines neuen Antwortvektors $\mathbf{y^*}$ abhängig von den Hyperparametern und den Beobachtungen, dh $p(\mathbf{y^*}|\boldsymbol{\theta},\mathbf{y})$ , ist normal verteilt (richtig?). Die posteriore prädiktive Verteilung ist jedoch

$$p(\mathbf{y^*}|\mathbf{y})=\int{p(\mathbf{y^*},\boldsymbol{\theta}|\mathbf{y})p(\boldsymbol{\theta})}d\boldsymbol{\theta}=\int{p(\mathbf{y^*}|\boldsymbol{\theta},\mathbf{y})p(\boldsymbol{\theta}|\mathbf{y})p(\boldsymbol{\theta})}d\boldsymbol{\theta}$$

Im Integral ist nur der Term ein (multivariates) normales PDF. und können jede Verteilung haben, die wir für geeignet halten, um das vorliegende statistische Problem zu modellieren. Es gibt keinen Grund zu der Annahme, dass das Integral wrt des Produkts dieser drei Verteilungen normalverteilt ist, daher können wir nicht sagen, dass der Vektor normalverteilt ist. Ist das richtig?$p(\mathbf{y^*}|\boldsymbol{\theta},\mathbf{y})$$p(\mathbf{y}|\boldsymbol{\theta})$$p(\boldsymbol{\theta})$$\boldsymbol{\theta}$$\mathbf{y^*}|\mathbf{y}$

1. GPR macht keine statistischen Annahmen über die Prädiktoren. Sie müssen nicht einmal Zahlen sein! Sie benötigen lediglich eine vorherige Mittelwertfunktion und eine Kovarianzfunktion, die auch für nicht numerische Daten (diskrete Verbindungsverbindungen, Zeichenfolgen, Mengen usw.) definiert werden können.
2. Dies ist eine Art wahr oder wird angenommen, wenn Leute über GPR sprechen, weil sein interessantester Aspekt darin besteht, dass es exakte Schlussfolgerungen zulässt: Es läuft im Wesentlichen nur auf lineare Algebra hinaus. In dem Moment, in dem Sie mehr Flexibilität einführen, z. B. nicht-Gaußsches Rauschen, Vorrang vor Hyperparametern, verlieren Sie diese wichtige Eigenschaft und müssen auf ungefähre Schlussfolgerungen zurückgreifen. Das heißt, selbst dann gibt es typischerweise Rechenvorteile bei der Verwendung von GPR-basierten Modellen.