Gibt es eine Software, die die Beleuchtung in einem vorhandenen Foto identifizieren kann?

Gibt es eine Anwendung, die einen ausgewählten Bereich eines Fotos aufnimmt und dessen Schätzung der Beleuchtungsparameter zurückgibt, die erforderlich sind, um die Lichtverhältnisse im ausgewählten Bereich des Fotos zu emulieren?

Meine Vermutung zu den zurückgegebenen Parametern umfasst: Lichtquellen, Quellendiffusität, Quellfarbe, Quellendauer, reflektierende / einfallende Lichtquelle, Quellenbewegung usw. (Ich begrüße Feedback zu diesen Vermutungen und zur Wahrscheinlichkeit dass es möglich ist, sie statisch zu modellieren.)

In diesem Bereich wurde tatsächlich viel geforscht:

• Schätzung der natürlichen Beleuchtung anhand eines einzelnen Außenbilds

• Multiple-Cue-Beleuchtungsschätzung in strukturierten Szenen

• Beleuchtungsschätzung und Cast Shadow Detection durch ein grafisches Modell höherer Ordnung

Die Ergebnisse sind jedoch begrenzt, da das Problem massiv unterbeschränkt ist, da es weit mehr Unbekannte als Daten gibt. Dies bedeutet, dass genaue Lösungen unmöglich sind und jede Antwort, die Sie erhalten, mehrdeutig ist.

Ein weiteres Problem für das, was Sie vorschlagen, ist, dass die Forschung in diesem Bereich auf das maschinelle Verständnis visueller Bilder gerichtet ist. Die Schätzung der Beleuchtung wäre wichtig, damit Roboter visuell durch ein Labyrinth navigieren können, da sie den Winkel von Wänden usw. beurteilen können. Diese Anwendungen stellen andere Anforderungen an die Software als das künstlerische Ziel, die Beleuchtung in einem guten Porträt für neu zu erstellen Beispiel.

In Bezug auf den Unterschied zwischen Forschung und kommerzieller Software bildet die Forschung von heute die Grundlage für die Software von morgen (einer der Gründe, warum ich jedes Jahr die Verfahren von SIGGRAPH durchforste). Das automatische Panorama-Nähen war einst ein Forschungsprojekt und wird heute als selbstverständlich angesehen. Ich erinnere mich, dass ich über inhaltsbezogene Größenänderungen gelesen habe, als sie in einer Computer Vision-Konferenz veröffentlicht wurden (damals hieß sie "Nahtschnitzen"), und es dauerte nur ein paar Jahre, bis sie zu einer Standardfunktion in Photoshop wurden.

Es gibt jedoch einen Unterschied zwischen einer inhaltsbewussten Füllung und dem, was Sie vorschlagen. Dies bedeutet, dass eine inhaltsbewusste Füllung Stunden der Retusche sparen kann und daher eine große Nachfrage besteht. Das Schätzen der Beleuchtungsbedingungen eines Fotos ist für jemanden, der sich mit Beleuchtung auskennt, ein sehr schneller Vorgang.

Ein letzter Hoffnungsschimmer liegt im Bereich der Videopostproduktion. Das Schätzen / Modellieren der ursprünglichen Lichtverhältnisse ist wichtig, um computergenerierte Animationen realistisch zu realem Filmmaterial zusammenzusetzen (Beleuchtungsinkonsistenzen treten bei bewegten Bildern weitaus häufiger auf als bei Standbildern). Das plus die zusätzliche Datenmenge, die in einem Videostream verfügbar ist, und ich würde mir vorstellen, dass Sie die Funktion sehen, die Sie nach dem ersten Erscheinen in der Videobearbeitungssoftware sehen.

Ehrlich gesagt, nein - nicht mit derzeit verfügbarer Software. Hier wird vielleicht geforscht und wer weiß, was die Zukunft bringt, aber im Moment nein.

Es gibt zu viele Informationen, als dass die Software sie verarbeiten könnte, um sie zu verarbeiten - insbesondere auf Verbraucherebene. Zumindest müssten Sie der Software eine Möglichkeit geben, zu sagen, wie das Thema UNLIT aussah. Das ist der Vorteil, den ein Mensch hat - wir haben eine Vorvisualisierung im Kopf, wie das Motiv normal aussehen würde. Dies ermöglicht es einer Person zu sagen, "nun, sie hat dort normalerweise keinen verblassenden dunklen Bereich oder einen hellen Fleck dort drüben".

Darüber hinaus gibt es VIELE verschiedene Möglichkeiten, um den gleichen Effekt in der Beleuchtung zu erzielen (obwohl viele häufiger als andere sind).