Warum zeichnen Kameras nicht während des gesamten Verschlusses Lichtdaten auf?

Es tut mir leid, wenn der Fragentitel verwirrend ist. Ich weiß nicht, wie ich das am besten ausdrücken kann. Sie können ihn also jederzeit ändern, wenn Sie sich etwas Besseres vorstellen können. Ich habe gelernt, dass elektronische Verschlüsse das Bild auf einmal erfassen können, anstatt einen mechanischen Verschluss zu verwenden, der den Vorhang verwendet. Das brachte mich auf eine Idee. Angenommen, eine bestimmte Aufnahme würde bei 1 / 200s richtig belichtet, aber der Dynamikbereich des Bildes ist viel zu groß, um von der Kamera erfasst zu werden.

Warum kann eine Kamera mit einem elektronischen Verschluss kontinuierlich erfassen und Rekordlichtdaten von einem Bild während der gesamten Dauer des Verschlusses statt nur zu sammeln Lichtdaten und schließlich als ein Bild zu speichern? Es wäre, als würde ein Raum von der Dunkelheit ausgehen und allmählich an Helligkeit zunehmen. Die Kamera wäre dann in der Lage, den gesamten Dynamikbereich eines Bildes zu erfassen und die Daten zu einem Bild mit dem gesamten Dynamikbereich in nur einem Foto zusammenzufassen, anstatt mehrere Belichtungen für eine HDR zu benötigen. Dies würde auch für die Belichtungseinstellung in der Nachbearbeitung ohne erlaubt jeden Informationsverlust , da die Kamera die Lichtdaten von einem gesamten Belichtungsbereich gespeichert hat. Warum wird diese Idee derzeit nicht umgesetzt?

Es ist in Röntgenstrahlen gemacht worden.

Das TimePix ist ein 256x256 Detektor. Es hat drei Betriebsarten :

• die übliche "Gesamtenergie in diesem Pixel seit Beginn der Integration";
• Time-Over-Threshold (TOT): Die erfasste Impulshöhe wird im TOT-Modus im Pixelzähler aufgezeichnet. und
• Ankunftszeit (TOA): Der TOA-Modus misst die Zeit zwischen dem Auslösen und dem Eintreffen der Strahlung in jedes Pixel.

Diese Technologie wurde an die optische Bildgebung angepasst . Der TOT-Modus verhält sich am besten wie ein Wilkinson-ADC - die Anzeige entspricht der Gesamtzeit, in der sich die akkumulierte Ladung auf oder über dem Schwellenwert befindet. Wenn Sie dies von der Verschlusszeit subtrahieren, erfahren Sie, wie lange es gedauert hat, bis dieses Pixel gesättigt war. Somit können Sie für jedes Pixel die Linie von 0 bis zur Sättigung über die Zeit seit dem Öffnen des Verschlusses zeichnen. Sie können also eine beliebige virtuelle Verschlusszeit auswählen (solange alle Pixel gesättigt sind) und die Linie jedes Pixels verwenden, um das akkumulierte Licht bis zu dieser virtuellen Verschlusszeit abzuschätzen.

Eine direktere Umsetzung Ihrer Idee wurde in CMOS vorgenommen. Jedes Pixel zeichnet auf und meldet seine Zeit, um eine Schwellenladung zu erreichen. (Anstatt die nicht in der Zeit gesättigten Pixel zu ADC, wird der Schwellenwert gewobbelt, sodass schließlich jedes Pixel einen ausreichend erniedrigten Schwellenwert überschreitet.)

Ich erinnere mich, dass das Pixim Digital Pixel System ( Beispiel ) dies auch mit einem ADC pro Pixel tat und die akkumulierte Ladung zerstörungsfrei wiederholt auslas (um die Akkumulationssteigung zu erhalten). Aber ich kann keine aktuellen bestätigenden Beweise finden.

Sie vermissen einige offensichtliche Probleme mit dieser Idee.

Sie möchten die Lichtdaten "kontinuierlich" erfassen, dies wird jedoch bereits durchgeführt.

Anscheinend möchten Sie nach der Belichtung eine Reihe von Bildern zur Verfügung haben, von denen jedes von Anfang an mit fortschreitender Belichtung belichtet wird. Die späteren Bilder haben in Schattenbereichen mehr Details, aber möglicherweise abgeschnittene helle Bereiche. Die Kamera-Firmware könnte dann ein einzelnes Bild mit einem größeren Dynamikbereich als jedes der einzelnen Bilder zusammenstellen.

Die zwei offensichtlichen Probleme dabei sind:

• wie man all die Millionen Pixel so schnell ausliest und
• Wo sollen die Ergebnisse abgelegt werden?

Dafür steht die Technologie heute nicht zur Verfügung.

Sie schlagen vor: "Oder jedes Mal, wenn ein Photon auf ein Pixel auf dem Sensor trifft, geben Sie ihm einen Zeitstempel" - dies wäre eine riesige Datenmenge. Eine schnelle Suche legt nahe, dass jedes Pixel - oder jeder Sinn - in einer Digitalkamera zwischen 20.000 und 100.000 Photonen sättigt. Nehmen wir an, wir sind mit einer 12-Megapixel-Kamera zufrieden und sind mit der niedrigeren Empfindlichkeit hier einverstanden. Das sind immer noch ein Viertel von Billionen Datenpunkten. Wenn wir von einer 50-Megapixel-Kamera mit viel Dynamik sprechen, vielleicht fünf Billionen . Selbst wenn unsere Zeitstempel nur aus zwei Bytes bestehen (ein Byte ergibt nur 256 Werte, was wahrscheinlich nicht ausreicht, um das alles sinnvoll zu machen), sind das ... viele Daten für ein Bild. Ich meine, buchstäblich Terabyte.

Das ist in Bezug auf die Datenpipeline mit der heutigen Technologie derzeit eindeutig nicht realisierbar, geschweige denn irgendwo .

Was Sie verlangen, kontinuierliche Lichtabtastung, ist theoretisch möglich, aber praktisch zu teuer. Es könnte möglich sein, es mit einer sehr hohen Abtastrate anzunähern. Dies könnte mit einer Hochgeschwindigkeits-Videokamera (Zeitlupe) mit sehr hohen Bildraten geschehen. Anschließend kann die Ausgabe nachbearbeitet werden, um ein Bild zu erstellen.

Eine schnelle Suche nach Shows genügt wie dieses Phantom

Diese Dinge funktionieren durch schnelle Sensoren und durch die Fähigkeit, riesige Datenmengen zu bewegen und zu speichern. Der Versuch einer kontinuierlichen Abtastung oder einer Abtastrate, die schnell genug ist, um kontinuierlich zu wirken, vergrößert dieses Problem und die Kosten.

Der elektronische Verschluss ist bereits ein Schritt nach oben. Wir können jetzt alle Pixel gleichzeitig aufnehmen und sie dann auffordern, die Erfassung zu beenden (dh jedes Pixel abzutasten) und die Informationen für jede Farbe jedes Pixels nacheinander zu messen, um Daten über ein gleichzeitig aufgenommenes Bild zu erfassen.

Dies war früher nicht der Fall.

Wir müssen noch einige Hacks für die HDR-Szenerie machen, aber es ist nicht schlecht, wie es früher war, wieder aufgrund der Fortschritte in der Sensortechnologie. Wir haben jetzt eine größere Sensorempfindlichkeit und einen größeren Dynamikbereich, sodass ein Foto, für das früher eine Zweierreihenaufnahme und eine Nachbearbeitung erforderlich waren, jetzt in der Kamera aufgenommen werden kann, da der Sensor sowohl die Höhen als auch Tiefen bestimmter Bilder messen kann. Tatsächlich sind die Sensoren so gut geworden, dass Sie selten auf eine Situation stoßen, in der mehr als drei Aufnahmen in Klammern erforderlich sind, um den gesamten Dynamikbereich abzurufen. Ältere Sensoren erforderten möglicherweise 5 oder mehr Reihenaufnahmen.

Nach meinem Verständnis erfordert Ihre Idee eine kontinuierliche Messung auf Pixelbasis.

Obwohl dies eine großartige Idee ist, bleibt die Implementierung ein Problem. Kameras sind so konzipiert, dass Daten vom Sensor seriell übertragen werden. Es gibt keine Linie für jedes Pixel zum Prozessor, stattdessen verfügt der Bildsensor über eine Logik, die es dem Prozessor ermöglicht, den Wert für ein Pixel oder mehrere Pixel gleichzeitig, jedoch nicht für alle auf einmal, zu lesen. Es muss alle Pixel durchlaufen, und das braucht Zeit.

Wir können das nicht überwinden, weil wir nicht in der Lage sein werden, 50 Millionen Drähte zwischen Sensor und Prozessor zu verlegen. Wir könnten mehr von der Verarbeitung in den Sensor integrieren, aber der Sensor ist darauf spezialisiert, eine Sache zu tun und es gut zu machen. Das Hinzufügen digitaler Schaltkreise würde zu mehr Rauschen und wahrscheinlich kleineren Pixeln führen, selbst wenn 3D-ICs verwendet würden. Ferner unterscheiden sich die Prozesse, die zum Erzeugen eines guten lichtempfindlichen Siliziums verwendet werden, von denen, die zum Erzeugen eines guten digitalen Siliziums mit geringer Leistung und schneller Verarbeitung verwendet werden.

All diese Dinge sind Hindernisse, werden jedoch für einige spezielle Anwendungen bereits verwendet. In der Regel im wissenschaftlichen und industriellen Bereich.

Das heißt aber nicht, dass wir in der Kälte stehen bleiben. Wenn sich die Sensoren verbessern, insbesondere im Dynamikbereich, werden Sie feststellen, dass Sie mit der Zeit "HDR" in der Kamera ohne Klammern erhalten - die Sensoren sind einfach empfindlich genug, um den vollen Bereich zu erreichen, und die Objektive und das Kameragehäuse sind gut Ausreichend, um Ausbluten, Reflexionen und andere Probleme zu vermeiden, die verhindern, dass der Sensor seine volle Leistungsfähigkeit erreicht.

Die Idee ist zwar nicht schlecht, aber komplex, teuer und wir haben immer noch Raum, um in anderen verbesserungswürdigen Bereichen zu wachsen, sodass Ihre Methode möglicherweise nicht einmal notwendig wird.

Die wahre Antwort ist der Preis. Wenn Sie bereit sind, 10-100x mehr für Ihre Kamera zu bezahlen, können Sie einige wirklich ausgefallene Sensoren erwerben.

Das gewünschte Ergebnis, das Sie beschreiben, ist ein höherer dynamischer Bereich für jedes Pixel. Hierfür gibt es verschiedene Möglichkeiten. Der offensichtliche Weg besteht darin, einen besseren ADC- und CMOS-Sensor zu erhalten, aber das kostet Geld und ist nicht im Sinne Ihrer Überlegungen. Der nächste Ansatz wäre , analog in einem kontinuierlichen Prozess Ladung abzusaugen . Auf diese Weise erhalten Sie eine kontinuierliche Funktion, die beschreibt, wie viele Photonen auf das Pixel treffen. Diese Art von analoger Hardware ist jedoch enorm schwierig. In Ihrer Kamera werden alle Pixeldaten durch eine relativ kleine Anzahl von ADCs geschleppt. Ein Teil der Schönheit unserer Sensoren besteht darin, wie sie dies tun können, was zu hundertfach billigerer Hardware führt. Um dies kontinuierlich zu tun, müsste jedes Pixel über eine außerordentlich feineinstellbare analoge Hardware verfügen.

Das bringt uns zum Ansatz der digitalen Abtastung. Sie haben die Idee erwähnt, Daten alle 1 / 1000stel einer Sekunde zu erfassen, was für mich nahe legt, dass Sie nicht an einen kontinuierlichen Prozess gedacht haben, sondern an einen Abtastprozess , bei dem Sie viele Datenpunkte für dünne Zeitscheiben erhalten und diese zusammenfügen zusammen. Wie bereits in anderen Antworten erwähnt, funktioniert HDR + bei einigen Telefonen genau so. Es werden mehrere Fotos in schneller Folge aufgenommen und gemischt, um den HDR-Effekt zu erzielen. Zu diesem Zweck verfügen sie offensichtlich über eine viel höhere ADC-Bandbreite als für ein einzelnes Bild erforderlich, benötigen jedoch nicht so viel, wie für die kontinuierliche Behandlung jedes Pixels erforderlich wäre.

Sie möchten, dass nach dem Klang jedes Pixel diese Zeit für sich alleine abtastet. Dazu müssten wir uns zunächst mit dem Entwurf von integrierten 3D-Schaltkreisen befassen. Sie möchten nicht, dass die Hardware jedes Pixels Platz auf der Sensoroberfläche einnimmt, oder Sie haben Probleme mit zu wenigen Pixeln oder einem Lichtverlust, wenn es auf Teile des ICs fällt, die keine Sensoren sind. Der einzige Weg, dies zu erreichen, ist der Bau eines 3D-Chips. Das ist wirklich eine Zukunftstechnologie. Wir beginnen zu erforschen , wie dies zu tun, aber es ist nicht einfach. Wenn Sie Hunderttausende von Dollar für Ihre Kamera übrig haben, können wir so etwas realisieren.

Am Ende klingt es so, als ob Sie möchten, dass die Ausgabe jedes Pixels eine "Gleitkommazahl" anstelle einer "ganzen Zahl" ist. Das heißt, jedes Pixel hätte einen Wert für die Anzahl der getroffenen Photonen und einen Exponenten, der im Wesentlichen angibt, mit wie viel dieser Wert multipliziert werden muss, um die tatsächliche Anzahl der Photonen zu erhalten. Wenn das Pixel belichtet wird, würde es mit einer sehr hohen Abtastrate (vielleicht 5000 Hz) abtasten, und wenn die Photonenzahl zu groß wird, wird ein größerer Exponent ausgewählt.

Die eigentliche Frage ist nun, wie viel Nutzen Sie davon haben. Denken Sie daran, der HDR + -Ansatz ist die derzeitige Technologie für Mobiltelefone in der Größenordnung von Hunderten von Dollar. Sie sprechen von der Verwendung modernster Technologie mit weitaus anspruchsvolleren Toleranzen als bei jeder anderen Kamera. Das wird kostenpflichtig sein. Was hat es dir gekauft? Was haben Ihnen diese Ein-Pixel-Geräte während des Verschlusses tatsächlich gekauft, was die billige CMOS-Technologie, die Google vorantreibt, nicht? Die Antwort ist nicht viel. Es mag ein paar winzige Eckfälle geben, in denen dies ein bevorzugter Ansatz ist, aber mit einem Preisschild, das wesentlich höher ist als die vorhandene Technologie, ist es ein kommerzieller Nichtstarter.

Etwas sehr ähnliches wird implementiert. Es arbeitet immer noch mit unterschiedlichen Frames, da ein digitaler und kein analoger Ansatz erhebliche Vorteile bietet. Es gibt jedoch Ansätze mit einer Zeitauflösung in Pikosekunden.

https://www.ted.com/talks/ramesh_raskar_a_camera_das_nimmt_eine_trillion_frames_pro_sekunde

Warum kann eine Kamera mit einem elektronischen Verschluss nicht kontinuierlich Lichtdaten von einem Bild während der gesamten Verschlusszeit erfassen und aufzeichnen, anstatt nur Lichtdaten zu erfassen und schließlich als ein Bild zu speichern?

Ich denke, Sie schlagen hier wirklich vor, ein Bild zu beschreiben, das sich nicht darauf bezieht, wie viel Licht während der gesamten Belichtung gesammelt wurde. sondern "wie hell war die Szene an jedem Punkt?" Das ist ein großartiger Gedanke, und ich kann mir verschiedene Möglichkeiten vorstellen, dies zu tun. Allen ist jedoch gemeinsam, dass sie dem Sensor Komplexität verleihen.

Die Kamerahersteller haben lange daran gearbeitet, mehr Pixel bereitzustellen , und ich denke, dass die einfache Struktur jedes einzelnen Pixels dabei hilft. Jetzt, da DSLRs im Allgemeinen Sensoren mit 20 bis 50 Millionen Pixeln haben, werden sie möglicherweise daran arbeiten, bessere Pixel zu erstellen. In mancher Hinsicht sehen wir das bereits - der Dual-Pixel-Autofokus ist ein Beispiel. Und es gibt sicherlich Unternehmen, die an Gebäudesensoren arbeiten, die einen größeren Dynamikbereich , weniger Rauschen usw. bieten .

Kurz gesagt, ich denke, es ist wahrscheinlich, dass wir in etwa das sehen werden, was Sie in Zukunft vorgeschlagen haben, auch wenn es nicht so funktioniert, und der Grund, warum wir nicht schon da sind, ist wahrscheinlich genau das Andere Ziele wie die Erhöhung der Pixeldichte hatten in der Vergangenheit höhere Priorität.

Es kann auf eine etwas andere Art und Weise geschehen. Anstelle eines Bildes nehmen Sie mehrere Bilder mit unterschiedlichen Belichtungszeiten auf. Anschließend stapeln Sie die Bilder, um einen Durchschnittswert zu erhalten, je nachdem, welchen Algorithmus Sie zum Stapeln verwenden.

Zum Beispiel war bei der kürzlichen totalen Sonnenfinsternis die für das bloße Auge sichtbare Korona viel größer als die, die eine Belichtungszeit für die Kamera anzeigen würde. Dies liegt daran, dass das Auge einen logarithmischen Dynamikbereich hat, während das Auge einen linearen Dynamikbereich hat. Wenn Sie also verschiedene Belichtungszeiten stapeln, können Sie in einem Bild viel besser annähern, was die Betrachter mit den Augen gesehen haben.

Die Modi "Olympus Live Bulb" und "Live Time" gehen in die von Ihnen beschriebene Richtung.

Aus dem OM-D E-M5 Handbuch :

Wählen Sie ein Anzeigeintervall für [Live BULB] (S. 89) oder [Live TIME] (S. 89), um den Fortschritt der Belichtung während der Aufnahme anzuzeigen.

Hier ist ein Video . Beachten Sie, dass Sie am Ende nur eine Belichtung erhalten, obwohl Sie während des Vorgangs mehrere sehen. Die Sensorpixel kümmern sich nur um die Gesamtmenge der Photonen, die sie während der Belichtung erhalten haben. Sie wissen nicht, wann oder in welcher Reihenfolge diese Photonen auf dem Sensor gelandet sind.

Du hast die richtige Idee. Sony unternimmt im Wesentlichen etwas in diesem Sinne mit der RX100M5 und anderen Kameras, die über eine Funktion namens D-Range Optimizer verfügen - die Analyse der Szene sowie die Anpassung und Kompensation von Problembereichen.

Die D-Range Optimizer-Funktion analysiert sofort die erfassten Bilddaten und korrigiert automatisch die optimale Belichtung und Tonwiedergabe. Bei Gegenlichtaufnahmen erscheinen das Gesicht des Motivs oder andere Schattenbereiche auf dem Foto häufig dunkler als für das menschliche Auge. Die D-Range Optimizer-Funktion unterscheidet zwischen verschiedenen Bedingungen für die fotografierten Szenen und korrigiert automatisch die Gammakurve, die Belichtungsstufe und andere Parameter, um Bereiche zu entfernen, die dunkler sind, als sie für das menschliche Auge erscheinen würden.

Die D-Range Optimizer-Funktion enthält auch den Standard-Modus, der das gesamte Bild gleichmäßig anpasst (effektiv zum Korrigieren von Aspekten wie Belichtung), und den Advanced-Modus, der automatisch Bereiche innerhalb der Komposition korrigiert. Im erweiterten Modus kann der Fotograf ein klares Bild erstellen, bei dem sowohl das Motiv als auch der Hintergrund mit der entsprechenden Helligkeit dargestellt werden, auch wenn sich die Helligkeit der beiden stark unterscheidet.

Quelle: https://sony-paa-pa-en-web--paa.custhelp.com/app/answers/detail/a_id/26259/~/was-ist-die-Funktion-des-d-Bereichs-Optimierers % 3F