Was ist der zugrunde liegende Algorithmus für die Detailerhaltung von Upsampling in Photoshop CC?

Der detailerhaltende Upsampling-Algorithmus in Photoshop CC ist wirklich erstaunlich. Es kann jedes Bild hochskalieren und gleichzeitig Details in nahezu Echtzeit beibehalten. Und ich frage mich wirklich, wie es umgesetzt wird.

Ich habe damit begonnen, Papiere mit Schlüsselwörtern zu durchsuchen single image super resolution. Und anscheinend erfordern die aktuellen Algorithmen nach dem Stand der Technik eine geschulte externe Datenbank, um die fehlenden Hochfrequenzinformationen zu erraten. Und ich glaube, es ist wirklich schwer, ein komplettes Wörterbuch zu trainieren und zu verteilen, oder? Ich glaube auch nicht, dass es möglich ist, ein Wörterbuch mit Bildpyramide in Echtzeit zu trainieren.

Danach habe ich mich dem Bereich zugewandt, der im image upsamplingVergleich zu super resolutionAlgorithmen schnell genug zu sein scheint , aber es gibt so viele Algorithmen, dass ich total verloren bin.

Hat jemand irgendwelche Vermutungen oder Hinweise, wie dieses Tool implementiert werden kann? Vielen Dank!

— Void Main
quelle

Ich denke, diese Frage bezieht sich auf Preserve Details (1.0), die ich gelesen habe und die mit der ersten Version von Photoshop CC ausgeliefert wurden. Mit Photoshop CC 2018 gelieferte Details beibehalten 2.0 hat eine Skript-ID "deepUpscale" und wird als KI beworben, sodass sie auf Deep Learning basiert.

— Olli Niemitalo

Für einen aktuelleren Algorithmus gibt es Enhanced Super-Resolution Generative Adversarial Networks (ESRGAN) .

— Olli Niemitalo

Antworten:

Es ist wirklich nichts anderes als Bi Cubic Interpolation mit "Sharpening".

http://www.lynda.com/Photoshop-tutorials/interpolation-settings/124096/140573-4.html

Sie haben ihre Interpolationsalgorithmen seit Ewigkeiten nicht mehr aktualisiert.

— Royi
quelle

Das Bild ist bei höherer Auflösung scharf, so dass es mit einem modifizierten kubischen Spline sicherlich nicht erreicht wird.

— Libor

Suchen Sie nach der Adobe CC-Interpolation. Sie werden sehen, dass sie in CC nichts Neues gemacht haben, außer automatisch zwischen Bi Cubic Smoother und Bi Cubic Sharper zu wählen. Was beide nur Nachbearbeitung von Bi Cubic sind.

— Royi

Das verknüpfte Video der Frage zeigt die Option Resample: Details beibehalten. Ich denke nicht, dass es bikubisch ist. In Photoshop CC 2018 sind auch Details 2.0 erhalten.

— Olli Niemitalo

@OlliNiemitalo, hast du dir das Video angesehen, das ich verlinkt habe? Detail Preservation 2.0 ist etwas anderes. Die Frage wurde unter Berücksichtigung alter Photoshop-Versionen geschrieben. In dem von mir verlinkten Video können Sie sehen, dass der Vorgang Bi Cubic + Some Sharpening (wahrscheinlich mit Edge Awareness) ist.

— Royi

@ Royi Ich habe dein verlinktes Video gesehen. Es gibt weniger Optionen für das Resampling (enthält keine Details beibehalten) als das verknüpfte Video der Frage. Daher denke ich, dass das, was Sie in der Antwort sagen, für die Photoshop-Version der Frage veraltet ist.

— Olli Niemitalo

Es gibt viele Algorithmen für "kantenbewusstes" Upsampling. Ich bin mir nicht sicher, was Photoshop selbst verwendet, aber zum Beispiel liefert das Alien Skin Blow Up-Plugin ähnliche Ergebnisse und verwendet die Vektorisierung mithilfe der Triangulation. Die Dreiecke werden sorgfältig geglättet, während das hochgetastete Bild scharf genug bleibt.

Sie können sich auch NEDI (New Edge-Directed Interpolation) oder " Upsampling via Imposed Edges Statistics " von Raanan Fattal ansehen.

Ein weiterer Ansatz besteht darin, das Bild in ein Vektorfeld umzuwandeln (Vektoren verlaufen entlang der Kanten), dieses Feld zu vergrößern und dann die räumliche Domäne mithilfe eines PDE-Lösers neu zu berechnen (schnelle Poisson-Löser sind eine beliebte Option).

Echte Fraktale von OnOne Software zeigen einen weiteren Ansatz, bei dem fraktale Geometrie, insbesondere IFS (iterierte Funktionssysteme) verwendet werden, die Selbstähnlichkeit ausgenutzt wird und die Erstellung natürlich aussehender Texturdaten ermöglicht wird, nicht nur Kanten. Das fraktal angenäherte Bild ist per Definition auflösungsunabhängig. Ich habe einmal eine ähnliche Software geschrieben, aber die Berechnung der fraktalen Darstellung ist teuer, das Rendern hingegen sehr schnell.

— Libor
quelle

Danke für deine Antwort! Das ist eine ziemliche Liste, und ich werde anfangen, sie zu erforschen!

— Void Main