Wie funktioniert Super Resolution?

Aus dieser Frage habe ich den Wikipedia-Artikel gelesen, kann aber nicht verstehen, warum das Stapeln von Kopien desselben Bildes übereinander die Bildauflösung verbessern sollte.

Der Prozess ist kompliziert, aber dies sollte eine Vorstellung davon geben, was vor sich geht. Stellen Sie sich vor, Sie haben eine normale Kamera, aber Motoren, um den Sensor um ein halbes Pixel in eine beliebige Richtung zu bewegen.

Anstatt ein Bild aufzunehmen, nimmt diese Kamera vier Bilder auf: eines zentriert, eines um ein halbes Pixel nach rechts verschoben, eines um ein halbes Pixel nach unten verschoben und eines um ein halbes Pixel nach rechts und ein halbes Pixel nach unten verschoben.

Wir können dann das zentrierte Bild aufnehmen, es verdoppeln und die Pixel wie folgt voneinander trennen:

xxxx               x x x x 
xxxx      ____\    
xxxx          /    x x x x 
xxxx               
                   x x x x

                   x x x x

Dann können wir die Lücken mit den anderen verschobenen Bildern 1, 2 und 3 füllen:

x1x1x1x1
23232323
x1x1x1x1
23232323
x1x1x1x1
23232323
x1x1x1x1
23232323

Lassen Sie uns ein Bild mit der doppelten Auflösung. Interessanterweise gibt es Kameras, die diese Technik verwenden - wie die Hasselblad H4D-200MS (Entschuldigung, wenn Sie fragen müssen, wie viel Sie sich keine leisten können).

Die Superauflösung mit einer Standardkamera ist etwas komplexer, als wenn Sie eine unkontrollierte Kamera- oder Motivbewegung haben und nicht annähernd eine exakte Verschiebung um ein halbes Pixel erreichen. Wenn Sie jedoch kein großes Pech haben, ist Ihr verschobenes Bild um einen gewissen Grad vom Original versetzt. Wenn Sie genügend Bilder kombinieren, erhalten Sie ein sehr unregelmäßig abgetastetes Bild (mit Pixel-Samples, die nicht auf ein Raster fallen), das jedoch interpoliert werden kann (indem Linien zwischen Samples gezogen werden, um ein Ergebnis zu erraten, das auf eine exakte Gitterlinie fällt) ein normales Bild.

Beachten Sie, dass der Sensor kein perfektes Erfassungsgerät ist. Jedes Pixel wird mit einer gewissen Fehlermenge aufgezeichnet. Zum Beispiel, wenn der genaueste Wert eines Pixels ist N, wird der Sensor einen Wert aufnehmen , die in einem Bereich liegt , N-E to N+Efür ein bestimmtes E. Wenn ein guter Sensor Eklein ist, hat ein schlechter Sensor einen größeren E.

Beachten Sie auch, dass bei jeder Belichtung ein bestimmtes Pixel einen anderen Fehler aufweist und die Zellen im Sensor keinen Speicher haben, sodass ein Pixel, das einmal niedrig war, im nächsten möglicherweise hoch ist.

Wenn Sie mehrere Aufnahmen desselben Motivs machen und diese zusammen mitteln, reduzieren Sie effektiv E. In unserem obigen Beispielpixel werden Sie eine Reihe verschiedener Werte mitteln, die sich um ein Unbekanntes befinden N, sodass der Durchschnitt Sie diesem Ideal näher bringt N.

Das Folgende ist, wie ich die Dinge verstehe. Die Leute sollten sich frei fühlen, auf Missverständnisse hinzuweisen, damit wir alle erbaut werden, aber hoffentlich werden sie tatsächlich auf alle hinweisen, die sie entdecken und nicht nur in ihrem Bier murmeln. (oder Bärte oder ...).

Einfach und vereinfacht ausgedrückt, enthalten die verschiedenen Fotos leicht unterschiedliche Informationen, und es werden verschiedene Methoden verwendet, um diese zusätzlichen Informationen zu erkennen, zu extrahieren und auf konsistente additive Weise zu kombinieren.

Es ist erwähnenswert, dass das System nicht in allen Fällen garantiert funktioniert.
Die [Wikipedia Super-Resolution Seite] stellt fest:

• Bei den gängigsten SR-Algorithmen wurden die im SR-Bild gewonnenen Informationen in Form von Aliasing in die LR-Bilder eingebettet.

  Dies erfordert, dass der Erfassungssensor im System schwach genug ist, dass tatsächlich ein Aliasing stattfindet. Ein beugungsbegrenztes System enthält weder ein Aliasing noch ein System, bei dem die Modulationsübertragungsfunktion des Gesamtsystems Hochfrequenzinhalte herausfiltert.

Aliasing ist die Fähigkeit des Systems, Daten der betreffenden Frequenzen korrekt darzustellen. Siehe "Erklärung" als Ende.

Wenn ich sie richtig verstehe (und ich kann oder kann nicht), bedeutet ihre Phrase "ist schwach genug", dass es sich um zusätzliche Informationen handelt, die der Sensor nicht selbst auflösen kann und die normalerweise als schlecht angesehen werden. Daher wird sie normalerweise nach Möglichkeit unterdrückt, ABER dass dies "Aliasing" ist. Das SR-System benötigt zusätzliche Informationen. Die Nikon D800r verfügt über keinen optischen Antialisasing-Filter am Sensor, während die Standard-D800 und fast alle anderen DSLRs über einen solchen Filter verfügen.

MTF ist effektiv die Fähigkeit des Objektivs, Kontrast zu erzeugen ODER "Schärfe" zu erzeugen (die beiden sind eng miteinander verbunden. MTF ist normalerweise am besten in der Nähe der Objektivmitte und fällt bei einem rechteckigen Bild in Richtung Kanten ab, normalerweise eher in Bildecken Sie sagen, dass die Fähigkeit des Systems, ein Bild mit hoher Auflösung zu erzeugen, von seiner Fähigkeit abhängt, Kontrast und Schärfe wiederzugeben - dh von seiner Qualität. Das Objektiv muss mindestens so gut sein wie das Objektiv, das das Bild hervorbringen würde rsolutionj iomage direkt, wenn Sensor- und Prozessfähigkeiten verbessert wurden.

Aliasing ist das, was passiert, wenn ein Informationsstrom so langsam abgetastet wird, dass sich einige der Hochfrequenzinformationen schneller ändern als die Abtastrate und "umhüllt" und so aussieht, als wäre es wirklich eine Komponente mit niedrigerer Frequenz. In einem Begrenzungssystem muss die Abtastrate mindestens doppelt so hoch sein wie die höchste vorhandene Informationsrate, in der Praxis sind jedoch etwas höhere Raten erforderlich.

Einfaches Beispiel:

• Betrachten Sie die Reihenfolge 0 1 2 3 4 5 6 5 4 3 2 1 0 1 2 3 4 5 6 5 4 3 2 1 0 1 2 3 4 5 6 ...

  Offensichtlich gibt es ein Muster, das sich alle 12 Einheiten wiederholt.
  Es ist ein Dreieck, das für 6 Zyklen zunimmt und für weitere 6 Zyklen abnimmt und sich dann mit einer Periode von 12 Einheiten wiederholt.

  Probieren Sie die Sequenz jetzt nur alle 11 Mal aus. Wir erhalten
  0 1 2 3 4 5 6 5 4 3 2 1
  Dies ist genau das gleiche Muster, ABER es ändert sich 11-mal langsamer - eine Dreieckswelle mit einer Periode von 11 x 12 = 132 Einheiten.

  Wenn Sie alle 8 Male dieselbe Sequenz abtasten, erhalten Sie 0 4 4 0 4 4 0 4 4,
  dh es sieht aus wie eine 1: 2-Rechteckwelle mit einer Periode von 24 Einheiten.

  Jede Abtastperiode von mehr als 6 Zeiteinheiten = einem halben Zyklus führt zu solchen Aliasing-Fehlern.