CSI-Bildauflösungsverbesserung: Wie echt ist es?

Also habe ich mir den folgenden 1 Minute langen Youtube-Clip von CSI New York angesehen . In dem Clip zoomen sie mit der Aufnahme einer Standard-Bankkamera um mindestens 100 und sehen das Bild des Täters im Spiegelbild des Auges des Mädchens.

Nun, ich fand das total lächerlich, so sehr, dass ich dachte, es wäre wirklich lustig.

Mein Freund argumentierte jedoch, dass es sehr gute Tricks für die Bildverbesserung gibt, wie zum Beispiel "Super Resolution", ein Verfahren, bei dem mehrere Frames eines Videos ein viel höheres Bild mit einer einzigen Auflösung erzeugen. Er dachte, dass die Show die Wahrheit ein wenig verbiegt, aber wie viel?

Ehrlich gesagt, weiß ich eigentlich nichts über diese Dinge, also ist meine Frage:

Wie gut ist die moderne Bildauflösungsverbesserung? Wie weit sind die CSI-Fernsehprogramme entfernt?

Vielen Dank,

Anmerkung: Dies ist ein Cross, der auf der Skeptics-Website veröffentlicht wurde. Mir wurde gesagt, ich könnte hier bessere Antworten erhalten.

Kurze Antwort: Sie können einige sehr gute Ergebnisse erzielen, jedoch nur unter bestimmten Bedingungen und absolut nicht in der Nähe dessen, was im verknüpften Videoclip gezeigt wird.

Mein Unternehmen, Amped Software , entwickelt Bild- und Videoverarbeitungssoftware für forensische und nachrichtendienstliche Anwendungen. Daher sind wir im Grunde genommen das echte Gegenstück zur CSI-Software.

In Bezug auf das allgemeine Problem der Qualitätsverbesserung kann ich Ihnen sagen, dass es für unseren Markt ein großes Problem ist, die Erwartungen zu erfüllen, die von Fernsehserien und Hollywood-Filmen gestellt werden. Sie können auf unserer Beispielseite sehen, dass die Ergebnisse, die wir erzielen können, manchmal wirklich erstaunlich sind, aber es ist wichtig zu verstehen, dass wir sie nur unter bestimmten Bedingungen erhalten können: Wenn es Informationen gibt, die durch Störungen abgedeckt sind, aber vorhanden sind können wir es wiederherstellen. Wenn es keine Informationen gibt, können und müssen wir sie nicht neu erstellen. In dieser speziellen Anwendung ist es nicht nur wichtig, die Ergebnisse visuell zu erfassen, sondern auch einem wissenschaftlichen Arbeitsablauf zu folgen, der vom Gericht akzeptiert werden muss .

Letztes Jahr habe ich eine Studie vorgestellt , die Probleme und Ergebnisse von fast 200 Fällen beschreibt, an denen ich gearbeitet habe. Das Endergebnis war das Folgende:

• In mehr als 50% der Fälle gibt es nichts zu tun (zum Beispiel ist die Wiederherstellung eines Kennzeichens mit 5x2 Pixeln mit keiner Software auf der Welt völlig unmöglich).
• in ungefähr 30% der Fälle können wir ein kleines Ergebnis erzielen (zum Beispiel das Wiederherstellen eines Kennzeichenbuchstabens oder das Verbessern des Gesamterscheinungsbildes eines Gesichts);
• In 10% der Fälle erhalten Sie gute Ergebnisse (Sie erhalten zum Beispiel den größten Teil des Kennzeichens).

Bitte beachten Sie, dass alle diese Fälle schwerwiegende Qualitätsprobleme hatten. Wenn ihre Qualität gut war, wurden wir nicht gebeten, an ihnen zu arbeiten.

Was speziell die Auflösungsverbesserung betrifft :

• Wenn Sie auf ein Bild zoomen, interpolieren Sie fehlende Pixel: Von einem einzelnen Bild aus können Sie das Erscheinungsbild des Bildes visuell verbessern, aber Sie werden keine echten Details hinzufügen .
• Super-Resolution-Techniken können unter bestimmten Bedingungen zu guten Ergebnissen führen: Sie sollten über genügend Frames verfügen, die um eine nicht ganzzahlige Anzahl von Pixeln verschoben sind und möglichst wenige Komprimierungsartefakte aufweisen. Im besten Fall erwarten Sie gute Ergebnisse bei 2fachem und 3fachem Zoom.

Was im Videoclip gezeigt wird, kann nur möglich sein, wenn das Originalvideo mit mehreren Megapixeln aufgenommen wurde und Sie dann die Auflösung haben, um sehr nah zu zoomen (mehr oder weniger wie bei Google Maps). Natürlich würde es zu diesem Zeitpunkt noch andere Probleme geben, wie den richtigen Fokus, schlechte Lichtverhältnisse und die Tatsache, dass sich die Perspektive des Auges von der des gesamten Motivs im Video unterscheidet, um nur einige zu nennen.

Man kann nichts zu etwas machen, man muss einige Informationen haben (oder erraten), um ein Bild in irgendeiner Weise verbessern zu können. Wenn Sie beispielsweise die Eigenschaften der Unschärfefunktion kennen (und kein Bildrauschen auftritt), können Sie die Unschärfe eines Fotos aufheben. Sie wissen jedoch selten, dass die Unschärfefunktion und das Rauschen immer vorhanden sind, sodass die Wiederherstellungsmöglichkeiten stark eingeschränkt werden (Adobe hat kürzlich einen Unschärfefilter vorgestellt, dessen Demo jedoch synthetische Unschärfe enthielt).

Kurz gesagt, CSI ist fast reine Fiktion - die Gewinne, die im wirklichen Leben möglich sind, sind marginal, nichts wie die 5-fache Erhöhung der Auflösung, die im Fernsehen präsentiert wird.

Sanity Check: Wenn sie all das könnten, würden die Leute nicht Zehntausende für mehr als 40 MP Hasselblad-Kameras bezahlen, es wäre billiger, die Software einfach zu duplizieren!

edit: Mir ist irgendwie die ursprüngliche Frage nach der Superauflösung aus dem Video nicht aufgefallen. In der Realität ist eine Mehrfachbild-Superauflösung möglich, jedoch nur bis zu den Grenzen des Sensors. Es funktioniert mit einer Reihe von Bildern mit Sub-Pixel-Verschiebungen. Auf diese Weise erhalten Sie Informationen zu den Werten zwischen den Pixeln, mit denen Sie ein Bild mit höherer Auflösung erstellen können. Die Superauflösung von Videos funktioniert, weil ein sich bewegendes Motiv die gleiche Art von Verschiebungen erzeugt, das Erscheinungsbild von Objekten darf sich jedoch zwischen den Bildern nicht so stark ändern. Die Technik liefert bestenfalls nur die Ergebnisse eines Sensors mit höherer Auflösung. Sie können die Grenzen des Objektivauflösungsvermögens nicht überschreiten, die mit CCTV-Objektiven nur begrenzt möglich wären.

Hier ist ein Beispiel für eine Superauflösung unter guten Bedingungen:

_{(Quelle: wikimedia.org )}

Bild von photoacute.com

eine Verbesserung der Auflösung, ja, aber immer noch nicht annähernd die Leistung auf CSI-Niveau.

Um auf meinen obigen Kommentar zu verweisen, implementieren die neuesten Hasselblads unter dem Namen "Multi-Shot-Capture" tatsächlich eine Sensor-Shift-Superauflösung, sodass Sie die Hersteller von Mittelformaten mit cleverer Software immer noch nicht schlagen können ...

Also das ist, was ich bisher habe:

Der Bereich des Auges, in dem sie den Basketball sehen, ist ungefähr 1 Quadratmillimeter. Anhand der Größe des Mädchens können wir zuversichtlich schätzen, dass dies höchstens ein Millionstel der Gesamtzahl der Pixel auf dem Bildschirm sein sollte. (Die Breite und Höhe des Bildes sind für Fotos zwar nicht genau definiert, da einige Dinge näher liegen, sie sehen jedoch ungefähr 3 x 3 Meter aus, was 10 Millionen Quadratmillimeter bedeuten würde. Das Auge befindet sich jedoch möglicherweise näher an der eigentlichen Kameralinse Ich schätze ungefähr und teile durch $ 10 $.)

Wenn die Aufnahme HD-Qualität hätte, wären das immer noch nur 2 Megapixel. Wo wir also sehen, sollte der Basketball die Größe eines einzelnen Pixels haben.

Ich denke, dass die Argumentation zweifellos zeigt, dass sie nicht wahr ist, aber ich frage mich immer noch, wo die Obergrenzen für die Bildverbesserung liegen.

Es gibt einige im Handel erhältliche Software mit Super Resolution. Ich habe keine davon selbst ausprobiert, aber das Werbematerial ist ziemlich gut. Die Software ist auf Überwachung, Sicherheit und Streitkräfte ausgerichtet, aber ich vermute, dass einige forensische Einheiten Zugriff auf dieses Zeug haben werden.

Zwei Beispiele sind: Ikena von MotionDSP und TacitView von 2d3

Eine Bild- / Videoverbesserung auf das in Fernsehsendungen vorgeschlagene Niveau ist einfach nicht möglich und wird tatsächlich durch das Bilderfassungsgerät begrenzt. Das ist die Technologie, die sich zuerst entwickeln müsste.

Es ist unmöglich, Informationen aus einer Sammlung von 10 Pixeln in ein erkennbares Objekt zu erhalten. Auf Pixelebene ist dies die endgültige Menge an Informationen, die im Bild bereitgestellt werden. Sie haben nur 100 Farbblöcke in diesem endlichen Zoom. Sie können einen Bereich von 10 x 10 Pixeln durch Interpolation auf 100 x 100 Pixel vergrößern, aber die Informationen in den 10 x 10 Pixeln sind alles, was benötigt wird, und die Interpolation beruht auf fundierten Schätzungen, die auf diesen 10 x 10 Pixeln durch die Software basieren. Das Ergebnis wäre eine 100 x 100 Pixel Unschärfe. Alternativ können Sie ein Bild mit 2000 x 2000 Pixeln nehmen und es mit 4000 x 4000 Pixeln interpolieren, und einige Unschärfen, die im Originalbild nicht so deutlich sind, sehen möglicherweise klarer aus als mögliche Objekte im größeren Bild, und zwar nur durch Pareidolie - aber selbst dann ist dies eine Vermutung oder Annahme. Das interpolierte Bild würde die "Illusion" von mehr Detail geben,

Die Bildverbesserung hängt ausschließlich von der maximalen Menge an Informationen ab, die über die ursprüngliche Bildquelle erfasst wurden. Das Zoomen in Pixel ist alles, was es gibt. Einige Kameras können Bilder mit sehr guter Auflösung aufnehmen, aber keine Software kann Details hervorheben, die nicht im Originalbild aufgezeichnet sind.

Nun, um zu den CSI-Shows zurückzukehren, greifen die meisten zu Ihrem Standard-Überwachungskameramaterial, das im wirklichen Leben ohnehin nicht besonders hoch aufgelöst ist. Wenn ich diese Art von Verbesserung bei Shows sehe, bringt es mich einfach zum Lachen - wie es selbst mit der fortschrittlichsten Form der Bildbearbeitungssoftware unmöglich ist (und PhotoShop befindet sich wirklich am oberen Ende der fortgeschrittenen Skala). Bildverbesserung und Zoomen hängen zu 100% von den Informationen ab, die vom Bildgebungsgerät erfasst werden. Eine Überwachungskamera, die beispielsweise die Reflexion des Gesichts einer Person an der Seite der Hornhaut eines Auges erfasst, muss also überaus leistungsstark und äußerst teuer sein . Das Filmmaterial muss eine unglaublich hohe Pixeldefinition pro Frame aufweisen (z. B. 100 Megapixel oder ca. 9,5 Terabyte, um 1 Sekunde Filmmaterial zu speichern). Dies würde die Dateigröße des Filmmaterials so weit reduzieren, dass jede Überwachungskamera eine kleine Serverfarm für 24-Stunden-Filmmaterial benötigt. Sehr teuer. Die daraus resultierende Verbesserungstechnologie würde sich auf Bilderfassungsgeräte stützen, die in der Lage sind, diese Ebene der detaillierten Video- und Bilderfassung zuerst durchzuführen, um die Daten auf bequeme Weise zu speichern und an einem Punkt zu sein, an dem dies kostengünstig in Städten eingeführt werden kann. Die Dateigröße des Videomaterials wäre so enorm (etwa 9,5 Terabyte pro Sekunde), dass die Software, die dazu in der Lage ist, einen (nach heutigen Maßstäben) extrem leistungsstarken Supercomputer benötigt. Mit der Geschwindigkeit, mit der die Technologie zunimmt, könnte dies irgendwann in der Zukunft möglich sein, wahrscheinlich in unserem Leben. Nur dann könnten sie es tun, aber die Bilder würden nicht verbessert werden, Sie würden nur auf sehr detaillierte Bilder zoomen. Ich weiß das, weil ich in digitalen Bildern arbeite, um ganztägig zu leben.