Gaußsche Prozesse: Verwendung von GPML für mehrdimensionale Ausgaben

Gibt es eine Möglichkeit, eine Gaußsche Prozessregression für mehrdimensionale Ausgaben (möglicherweise korreliert) mithilfe von GPML durchzuführen ?

Im Demo-Skript konnte ich nur ein 1D-Beispiel finden.

Eine ähnliche Frage zum Lebenslauf, die sich mit mehrdimensionalen Eingaben befasst.

Ich ging ihr Buch durch, um zu sehen, ob ich etwas finden konnte. Im 9. Kapitel dieses Buches (Abschnitt 9.1) haben sie diesen Fall mehrerer Ausgaben erwähnt. Sie haben ein paar Möglichkeiten erwähnt, um damit umzugehen: Eins - unter Verwendung eines korrelierten Rauschprozesses und Zwei - Cokriging (Korrelierter Prior).

Ich weiß immer noch nicht, wie ich diese Ideen in das GPML-Framework integrieren kann.

Gibt es auch andere GP-Bibliotheken / Frameworks, die eine mehrdimensionale Ausgabe unterstützen?

Ich glaube, dass Twin Gaussian Processes genau das ist, wonach Sie suchen. Ich kann das Modell nicht besser beschreiben als die Zusammenfassung des Papiers selbst, also werde ich es einfach kopieren und einfügen:

Wir beschreiben Zwillings-Gauß-Prozesse (TGP) 1, eine generische strukturierte Vorhersagemethode, die Gaußsche Prozessprioren (GP) [2] sowohl für Kovariaten als auch für multivariate Antworten verwendet und die Ergebnisse schätzt, indem die Kullback-Leibler-Divergenz zwischen zwei GP, die als Normalverteilungen über endliche Indexsätze von Training und modelliert sind, minimiert wird Testbeispiele, wobei das Ziel hervorgehoben wird, dass ähnliche Eingaben ähnliche Wahrnehmungen erzeugen sollten und dies im Durchschnitt zwischen ihren Randverteilungen gelten sollte. TGP erfasst nicht nur die Interdependenzen zwischen Kovariaten wie bei einem typischen GP, ​​sondern auch die zwischen Antworten, sodass Korrelationen zwischen Ein- und Ausgängen berücksichtigt werden. TGP wird mit vielversprechenden Ergebnissen für die Rekonstruktion von 3D-Posen von Menschen aus Monokular- und Multikamera-Videosequenzen im kürzlich eingeführten HumanEva-Benchmark veranschaulicht. Hier erreichen wir durchschnittlich 5 cm Fehler pro 3D-Marker für gemeinsam trainierte Modelle, die Daten von mehreren Personen und mehreren Aktivitäten verwenden. Die Methode ist schnell und automatisch: Sie erfordert keine Handarbeit der anfänglichen Pose, der Kamerakalibrierungsparameter oder der Verfügbarkeit eines 3D-Körpermodells für menschliche Probanden, die zum Training oder Testen verwendet werden.

Die Autoren haben großzügig Code- und Beispieldatensätze für den Einstieg bereitgestellt.

Kurze Antwort Die Regression für mehrdimensionale Ausgaben ist etwas schwierig und nach meinem derzeitigen Kenntnisstand nicht direkt in der GPML-Toolbox enthalten.

Lange Antwort Sie können Ihr mehrdimensionales Ausgabe-Regressionsproblem in drei verschiedene Teile aufteilen.

1. Ausgaben sind nicht miteinander verknüpft - Regressieren Sie die Ausgaben einfach einzeln wie das Demoskript für 1d case.
2. Ausgaben sind verwandt, kennen aber die Beziehung zwischen ihnen nicht - Sie möchten im Grunde die inneren Beziehungen zwischen den Ausgaben lernen. Wie in dem Buch erwähnt, ist CoKriging ein guter Anfang. Es gibt andere Software als GPML, mit der Sie direkt Cokriging durchführen können, z. ooDace
3. Ausgaben sind miteinander verbunden und Sie kennen die Beziehung zwischen ihnen - Führen Sie eine regelmäßige Kokrigierung durch, aber Sie können harte Einschränkungen zwischen den Ausgaben anwenden, indem Sie entweder die Einschränkungen im Optimierer anwenden (während Sie die logarithmische Grenzwahrscheinlichkeit minimieren), wie von Hall & Huang 2001 oder Wenden Sie die Beziehungen in der vorherigen Funktion an, wie von Constantinescu & Anitescu 2013 angegeben .

Ich hoffe, es hilft :)

Dies ist ein Modul von scikit-learn, das für mich überraschend gut funktioniert hat:

http://scikit-learn.org/stable/auto_examples/gaussian_process/plot_gp_regression.html

# Instanciate a Gaussian Process model
gp = GaussianProcess(corr='cubic', theta0=1e-2, thetaL=1e-4, thetaU=1e-1,
                     random_start=100)

# Fit to data using Maximum Likelihood Estimation of the parameters
gp.fit(X, y)

# Make the prediction on the meshed x-axis (ask for MSE as well)
y_pred, MSE = gp.predict(x, eval_MSE=True)
sigma = np.sqrt(MSE)

Ich suchte nach Gaußschen Prozessen mit mehreren Ausgängen und fand viele Möglichkeiten, damit umzugehen, wie Faltungsmethode, Modellierungsmethode mit gemischten Effekten und die neuesten Twin Gaußschen Prozesse (TGP).

Ich habe Zweifel am Konzept der Twin Gaussian Processes (TGP). Kann mir jemand dabei helfen?

In TGP ermitteln die Autoren die vorhergesagte Ausgabe ($\hat{y}$) Minimieren der KL-Divergenz zwischen Eingang und Ausgang umgekehrt. Aber im Allgemeinen suchen wir nach der prädiktiven Verteilung der Ausgabe, dh$p(y^*|\mathbf{y}) \sim \mathcal(\mu, \sigma^2)$. Eine Sache, die hier zu beachten ist, dass die prädiktive Varianz dh$\sigma^2$, $y$spielt keine Rolle darin. Im Fall von TGP ist die vorhergesagte Ausgabe$\hat{y}$ ist der gleiche wie der Mittelwert der prädiktiven Verteilung von $y$?