Wie relevant sind die DxOMark-Scores und -Tests?

Die DxOMark-Sensorbewertung erscheint mir etwas bizarr. Kürzlich bewerteten sie den Sensor der Nikon D3300 mit der gleichen Punktzahl wie die Canon 1Dx, die ich für unwahrscheinlich halte , um ihre Leistungen widerzuspiegeln, und was mich auch sehr skeptisch gegenüber ihrem Punktesystem machte.

Ich schätze ihre Messungen des Sensors, was zu einem Benchmark-Tool für den Vergleich verschiedener Kamerasensoren führt, aber sind sie wirklich relevant? Soweit mir bekannt ist, gibt es keine Dokumentation darüber, wie die Bewertung aus dem Dynamikbereich, der Farbempfindlichkeit und den ISO-Bewertungen bei schwachem Licht berechnet wird. Das Interesse von DxO Labs liegt auch im Verkauf ihrer Software, nicht direkt in der Bereitstellung wissenschaftlicher Benchmarking-Tools und könnte sehr wohl auf einen bestimmten Hersteller ausgerichtet sein.

Wie nützlich sind die DxOMark-Scores und wie können Sie damit verschiedene Kameras vergleichen?

DXOMark primäre "Scores" sind völlig nutzlos. IGNORIERE SIE. Es ist eine vergebliche Anstrengung, zu versuchen, eine komplexe Entität wie eine DSLR auf eine einzige skalare Zahl zu reduzieren, die Ihnen alles darüber sagt. Es ist ein Irrtum. Es sind zu viele Faktoren zu berücksichtigen, und welche Faktoren für einen bestimmten Fotografen am wichtigsten sind, ist unterschiedlich. Eine einzige Punktzahl macht dem Zweck der Durchführung von Messungen keinen Sinn.

Wenn es um die anderen Punkte von DXO geht, wie zum Beispiel Schwachlicht und Landschaft und so weiter, nehmen Sie sie mit einer kräftigen Portion Salz. Ihre allgemeinen Bewertungen sind stark gewichtet und basieren oft eher auf Ableitungen von Messungen als auf tatsächlichen Messungen. Beispielsweise basiert der Landscape-Score auf dem Print DR-Maß. Das Problem ist, dass DXO Print DR nicht tatsächlich MESSET, da es nicht auf Samples basiert, die von tatsächlichen, heruntergerechneten Bildern stammen. Print DR ist eine einfache mathematische Extrapolation aus dem WAHREN gemessenen Dynamikbereich des Sensors.

Daher sagt Ihnen Print DR nichts über den Sensor aus. Wenn DXO sagt, dass der D800 und der D600 14,4 DR-Stopps haben, ist dies Print DR, das von dem tatsächlichen Hardware-DR, der 13,2 Stopps ist, extrapoliert wird. Gleiches gilt für Canon-Sensoren. Wenn DXO Ihnen mitteilt, dass der Sensor 12 DR-Stopps hat, ist das wirklich nicht der Fall. In der Realität haben die meisten Canon-Sensoren auf Hardware-Ebene etwa 10,95 DR-Stopps.

Das Problem ist jedoch schlimmer. Ein Großteil der Informationen zur Farbtiefe und Farbempfindlichkeit wird gewichtet, ebenso wie viele der ISO-basierten Bewertungen. Die Gewichte basieren auf Kameras, die bestimmte Schwellenwerte erreichen, beispielsweise, dass das SNR bei einem bestimmten ISO-Wert über einem bestimmten Wert liegt. Dies gewährt einen gewissen "Bonus" auf die Punktzahl für diese Kamera. In dem Moment, in dem jede Art von gewichtsbasierter Bonuswertung in das Spiel einfließt, geht Ihre Fähigkeit, alles anhand einer Punktzahl direkt zu vergleichen, komplett aus dem Fenster. Sie befinden sich jetzt auf einem nichtlinearen Spielfeld, auf dem Sie ehrlich gesagt nicht wissen, ob die Nikon-Kamera mit einer Wertung von 95 im Vergleich zu dieser Canon-Kamera mit einer Wertung von 80 stark gewichtet wurde.

Wenn es um tatsächliche Messungen geht, gehören DXO-Informationen zu den besten, die zur Verfügung stehen. Ihre Messwerte für SNR, Bildschirm-DR, Farbempfindlichkeit usw. sind recht solide, da sie alle für jede getestete Kamera direkt aus mehreren RAW-Bildmustern stammen. Ihre Testmethodik ist ziemlich streng, und nichts deutet darauf hin, dass ein Teil ihrer Methodik angezweifelt werden sollte. Wissenschaftlich gesehen verfügt DXO über solide Methoden und solide Informationen, was die Art und Weise ihrer Prüfung und Messung anbelangt.

DXO ist wirklich eine gemischte Tasche. Möglicherweise verfügen sie über solide Testpraktiken, aber ihre Bewertung, da sie häufig auf mathematisch abgeleiteten, gewichteten Informationen basiert und ein paar ihrer Bewertungen häufig "Bonus" -Punkte erhalten, nur um bestimmte Schwellenwerte zu erreichen, mindert den gesamten Punkt Was DXO macht: Für jede Kamera wird eine lineare Punktzahl erstellt, mit der Kameras einfach verglichen werden können. Am Anfang war es ein fehlerhaftes Konzept, eine einzelne Zahl zu erzielen, aber sie haben es noch viel schlimmer gemacht, wie sie mit dem eigentlichen Bewertungsprozess umgegangen sind.

Gesamtpunktzahl

Ich ignoriere die Gesamtpunktzahl im Allgemeinen, da sie viel zu allgemein ist, wenn Sie eine der einzelnen Punktzahlen verstehen.

Der Gesamtscore ist eine Funktion einer Vielzahl von (ziemlich) deterministischen Tests, von denen jeder sehr informativ ist und die meisten (wenn nicht alle?) Klare Maßeinheiten haben. Aber dann erzeugen sie eine "Punktzahl", die diese Metriken mit unterschiedlichen Dimensionen kombiniert. Es ist so, als würde man ein Auto mit einem anderen vergleichen, indem man die maximale Beschleunigung (m / s / s), die Größe des Kraftstofftanks (L), die Höchstgeschwindigkeit (km / h) und die Anzahl der Passagiere addiert. Jeder wird die verschiedenen Komponenten unterschiedlich gewichten wollen, so dass die Gesamtpunktzahl ziemlich irrelevant wird.

Use Case Scores

Wie Sie bereits sagten, hat die Canon 1DX die gleiche Gesamtnote wie die Nikon D3300, weist jedoch einige große Unterschiede auf, auch nur auf der Seite "Scores":

• "Landscape" Score (auch bekannt als Dynamic Range) ist 11,8 vs 12,8 EVs (1 Stop besser auf D3300)
• "Sport" -Score (auch bekannt als Low-Light-ISO) ist 2786 vs 1385 ISO (1 Stopp besser auf 1DX)

Diese " Use Case Scores " sind bereits sehr viel spezifischer und dimensionsmäßig sinnvoll und ermöglichen weitaus bessere Vergleiche.

Das heißt, sie sind auch

1. nicht unbedingt leicht zu verstehen und
2. Nicht unbedingt eine nützliche Messung für alle Anwendungen

Der Anwendungsfall "Sport / Low-Light-ISO" ist beispielsweise

Low-Light-ISO ist die höchste ISO-Einstellung für eine Kamera, mit der ein SNR von 30 dB bei einem guten Dynamikbereich von 9 EVs und einer Farbtiefe von 18 Bit erreicht werden kann.

Diese gewählten Werte sind willkürlich, aber der nützliche Teil ist, dass sie konsistent verwendet werden, um alle Sensoren auf die gleiche Weise zu messen. Das bedeutet, dass Sie zwar nur einen Wert betrachten, aber zumindest Äpfel mit Äpfeln vergleichen können. Wie gut lassen sich Sensor A und Sensor B für einen bestimmten Datenpunkt vergleichen? Dies ist ein nützlicher Vergleich, da Sensoren in der Regel bei niedrigeren ISO-Werten eine bessere Leistung erzielen und bei einer Erhöhung des ISO-Werts ähnliche Abfallraten aufweisen. Damit dies jedoch nützlich ist, verlassen Sie sich bei allen Sensoren auf diese ähnliche Leistung allgemeiner Vergleich.

Messungen

Wenn Sie in den Abschnitt "Messungen" des Vergleichs gehen, werden einige nützlichere Vergleiche angezeigt. Viele Daten zu vielen verschiedenen Bedingungen. Hier können Sie Fragen wie "Wie viel weniger ISO-Rauschen würde ich bei ISO6400 von Kamera A gegenüber Kamera B bekommen?" Beantworten. Oder wenn Sie bereits wissen, dass Sie mit Ihrer aktuellen Kamera bis ISO 1600 einverstanden sind, können Sie das SNR für Ihre Kamera bei ISO 1600 als Basis für den Vergleich anderer Kameras verwenden (in diesem Fall wird es einen ähnlichen Betrag geben) von Bildrauschen in einer 1DX bei ISO 3200 wie in einer D3300 bei ISO 1600). Nun, auch das ist nicht ganz richtig, da die SNR-Daten für 18% Grau sind!

Der Vergleich der Leistung zwischen komplexen Geräten mit vielen Dimensionen / Freiheitsgraden ist von Natur aus ein sehr schwieriges Problem. Sie können einzelne Tests oft recht gut vergleichen, aber das Problem besteht darin, verallgemeinerbare Tests zu finden, die die relative oder absolute Leistung schnell und einfach darstellen. Ich denke, die "Use Case Scores" erreichen dies zu einem großen Teil, aber nur, weil die Technologie der meisten Sensoren ziemlich ähnlich ist, so dass Sie Verallgemeinerungen wie die oben beschriebene vornehmen können, dass der 1DX "One Stop Better" für Rauschen bei schlechten Lichtverhältnissen ist . (Stellen Sie sich vor, das Sensorrauschen wäre nicht für alle Sensoren eine einfache ISO-Funktion!)

Bedenken Sie auch, dass ein Sensor, der einen anderen Sensor übertrifft, nicht unbedingt nützlich ist . Die ISO-Leistung (SNR 18%) einer D3300 und einer 1DX ist im Wesentlichen irrelevant, wenn ein JPEG einer hellen Tageslichtszene aufgenommen wird. Nützlicher sind Dinge wie der dynamische Bereich (für Schatten- / Glanzlichtdetails mit harten Schatten). Und selbst dann, wenn Sie JPEG aufnehmen, werden Sie nicht viel mehr aus einem größeren Dynamikbereich herausholen (es gibt eine gewisse Tonkomprimierung, um das JPEG zu formen, aber beide sind immer noch in der Lage, den 8-Bit-Dynamikbereich eines JPEG deutlich zu übertreffen). Um die Auto-Analogie zu wiederholen, es ist wie ein Vergleich von maximaler Geschwindigkeit und Beschleunigung zwischen Autos für den Stadtverkehr. Sie werden nie an die Grenzen eines "schnellen" Autos stoßen, daher ist es für diese Anwendung irrelevant. Wenn Sie zwei Sensoren sinnvoll vergleichen möchten, benötigen Sie ein gutes Gespür für die jeweilige Anwendung. Und genau das möchten Sie wissen:

1. Die tatsächlichen Messungen zum Vergleich (nicht nur die Gesamtwerte)
2. Welche Messungen sind nützlich für die Anwendung
3. Was ist die Grenze des Nutzens für ein bestimmtes Maß der Leistung

Zusammenfassung

Die Gesamtnote ist ziemlich nutzlos, es sei denn als wirklich allgemeiner Leitfaden für jemandes Gewichtung von Anwendungsfällen (nicht unbedingt bei Ihnen!) S.

Die Use Case Scores sind viel bessere Anhaltspunkte für einige allgemeine Leistungstrends zwischen verschiedenen Sensoren.

Mit den Messungen können Sie Ihre eigenen Vergleiche anstellen, wenn Sie wissen, was zu vergleichen ist, und eine Anwendung im Auge behalten. Es ist auch wichtig zu wissen, wie viel "genug" ist oder wann Sie "sinkende Renditen" für eine bestimmte Anwendung erhalten.

Wenn Sie Elektronik, Optik und Physik nicht wirklich verstehen, sind die absoluten Zahlen wahrscheinlich ziemlich bedeutungslos.

Ich vertraue DXoMark ungefähr so ​​weit ich sie werfen kann, und ich bin nicht besonders gut im Kugelstoßen. Sie sind eine interessante Informationsquelle über die Laborbedingungen und können gelegentlich nützlich sein, wenn Kameras desselben Herstellers verglichen werden. Es gibt jedoch zu viele Variablen in diesen Tests, die von den tatsächlichen Bedingungen abweichen hersteller.

Wie bei jeder anderen Website für Kameraüberprüfungen ist die tatsächliche Leistung immer wichtiger als die Laborbedingungen. Wenn Sie wissen, wie man die Informationen liest und abschätzt, was für die reale Welt relevant ist und was nicht, können Sie aus DxOMark einige aussagekräftige Daten machen, aber meiner Erfahrung nach ist es am besten, sie mit einem großen Salzkorn zu nehmen.