Verarbeiten Sie stereoskopische Bilder, um sie von 3D in 2D zu konvertieren

Ich frage mich, ob es möglich ist, ein stereoskopisches Bild aufzunehmen und so zu summieren, dass es zu einem monoskopischen Bild wird, wobei sich der resultierende Blickwinkel in der Mitte befindet, in der sich die beiden Blickwinkel tatsächlich befinden.

Wenn ich beispielsweise zwei Kameras in einem Abstand von etwa 1 Fuß hätte, würde jede gleichzeitig ein Bild eines Motivs in einem Abstand von 3 Fuß aufnehmen. Könnte ich die resultierenden Bilder aufnehmen, sie verarbeiten und das resultierende Bild so erscheinen lassen, als wäre es von einer dritten Kamera in der Mitte der beiden äußeren genommen?

Gibt es Werkzeuge für diese Art der Interpolation? Ich erinnere mich an ein paar Szenen in der Entstehung von The Matrix, in denen es darum ging, rotierende Frames auszufüllen, und es dauerte nur etwa 4 oder 5 Kameras, um die Aufnahme zu erledigen. (Um fair zu sein, ich erinnere mich auch an den Teil, in dem sie eine ganze Reihe von Kameras hatten, die jeweils ein Bild aufnahmen.)

Ist das möglich? Wenn ja, mit welchen Tools würden Sie dies tun?

In den meisten Fällen können Sie wahrscheinlich ein Bild rekonstruieren, das überzeugend aussieht, aber Sie können nicht neu erstellen, was tatsächlich von einem Punkt zwischen den Blickwinkeln aus gesehen wird.

Nehmen Sie zum Beispiel ein Bild, das direkt vor einem Holzzaun aufgenommen wurde, wobei sich die beiden Blickwinkel jeweils in der Mitte eines Panels befinden, sodass beide nur das Panel sehen. Ein Standpunkt dazwischen würde zwischen den Panels sehen:

    ^
    |
--- | ---
 o  x  o

Es ist natürlich nicht möglich, aus den beiden Bildern des Panels nachzubilden, was zwischen den Panels zu sehen ist.

In den meisten Bildern gab es bestimmte Winkel, die von keinem Standpunkt aus gesehen wurden, aber von einem Standpunkt in der Mitte aus gesehen worden wären. Ein Werkzeug, das ein monoskopisches Bild erzeugen würde, müsste raten, was gesehen worden sein könnte.

Schauen Sie sich Piku Piku an .

Soweit ich das beurteilen kann, verwenden sie so etwas wie einen optischen Fluss, um passende Pixel in den beiden Bildern zu finden, und verwenden dann die Tiefeninformationen, um eine interpolierte Ansicht mit einer einfachen Schätzung des nächsten Nachbarn für die fehlenden Pixel zu erstellen. Es funktioniert ziemlich gut bei stereoskopischen Bildern, mit denen ich es ausprobiert habe, und bietet einen verbesserten Effekt gegenüber der Wackelstereoskopie . In diesem Beispiel sehen Sie die ausgefüllten Pixel und einige Fehler .

Im Allgemeinen wird dies als Ansichtsinterpolation bezeichnet .

In vielen solchen Fällen, wie zum Beispiel bei Guffas Holzzaun, ist dies unmöglich. In einigen anderen Fällen, z. B. bei einem unendlich weit entfernten Fokus, ist dies trivial. Für alles dazwischen ist es einfach wirklich sehr, sehr schwer. Dazu gibt es Software, einschließlich der Firmware auf dem Kinect. Der Trick besteht darin, dass Sie die beiden Ansichten verwenden müssen, um ein 3D-Modell der Welt vor der Kamera zu erstellen, und dann eine Ansicht dieser Welt vom gewünschten Punkt aus erstellen müssen.

Bei einigen der aktuellen Kinect-Projekte können Sie den virtuellen Ansichtspunkt beliebig verschieben und die Szene von oben oder von der Seite betrachten. Je weiter Sie von den Kameras entfernt sind, desto mehr Informationen sind nicht verfügbar, und desto mehr Lücken bestehen im resultierenden Bild.