Ist die Berechnung eines MD5-Hash weniger CPU-intensiv als die Funktionen der SHA-Familie?

115

Ist die Berechnung eines MD5-Hashs weniger CPU-intensiv als SHA-1 oder SHA-2 auf "Standard" -Laptop x86-Hardware? Ich interessiere mich für allgemeine Informationen, die nicht spezifisch für einen bestimmten Chip sind.

UPDATE: In meinem Fall bin ich daran interessiert, den Hash einer Datei zu berechnen. Wenn die Dateigröße eine Rolle spielt, nehmen wir die 300 KB an.

— Mick
quelle

Das ist keine Antwort auf Ihre Frage, aber die Befürworter von Skein haben ihre Geschwindigkeit gesteigert, und es ist sicherlich nicht schwächer als das MD5 am Lebensende zu diesem Zeitpunkt. In den Nachrichten muss der Hash sehr kurz sein, die Geschwindigkeit kann jedoch ein Nachteil für eine kryptografische Hash-Funktion sein (insbesondere, wie schnell jemand anderes sie implementieren kann, nicht wie schnell sie auf Ihrem Laptop ausgeführt wird). schneier.com/skein1.2.pdf

— Pascal Cuoq

4

@Pascal: Skein ist jedoch nicht der schnellste der SHA-3-Kandidaten, insbesondere auf 32-Bit-Plattformen. Auf einem 64-Bit-x86 erreicht Skein etwa 300 MB / s (Skein-512 ist etwas schneller als Skein-256), was mit SHA-1 vergleichbar ist, aber im 32-Bit-Modus sinkt die Leistung auf weniger als 60 MB / s s, zweimal langsamer als SHA-256. Auf der anderen Seite bietet SHABAL, ein weiterer SHA-3-Kandidat, eine ähnliche Leistung wie SHA-1 auf 32-Bit- und 64-Bit-Plattformen.

— Thomas Pornin

123

Ja, MD5 ist etwas weniger CPU-intensiv. Auf meinem Intel x86 (Core2 Quad Q6600, 2,4 GHz, mit einem Kern) erhalte ich dies im 32-Bit-Modus:

MD5       411
SHA-1     218
SHA-256   118
SHA-512    46

und das im 64-Bit-Modus:

MD5       407
SHA-1     312
SHA-256   148
SHA-512   189

Die Zahlen sind in Megabyte pro Sekunde für eine "lange" Nachricht angegeben (dies erhalten Sie für Nachrichten, die länger als 8 kB sind). Dies ist mit sphlib , einer Bibliothek von Hash-Funktionsimplementierungen in C (und Java). Alle Implementierungen stammen vom selben Autor (mir) und wurden mit vergleichbaren Optimierungsbemühungen durchgeführt. Somit können die Geschwindigkeitsunterschiede als wirklich funktionsintern angesehen werden.

Vergleichen Sie zum Vergleich, dass eine aktuelle Festplatte mit etwa 100 MB / s ausgeführt wird und alles über USB unter 60 MB / s liegt. Obwohl SHA-256 hier "langsam" erscheint, ist es für die meisten Zwecke schnell genug.

Beachten Sie, dass OpenSSL eine 32-Bit-Implementierung von SHA-512 enthält, die ziemlich schnell ist als mein Code (aber nicht so schnell wie die 64-Bit-SHA-512), da sich die OpenSSL-Implementierung in Assembly befindet und SSE2-Register verwendet, was nicht möglich ist SHA-512 ist die einzige Funktion unter den vier, die von einer SSE2-Implementierung profitiert.

Bearbeiten: Auf dieser Seite ( Archiv ) finden Sie einen Bericht über die Geschwindigkeit vieler Hash-Funktionen (klicken Sie auf den Link "Telechargez-Wartung"). Der Bericht ist auf Französisch, aber meistens voller Tabellen und Zahlen, und die Zahlen sind international. Die implementierten Hash-Funktionen enthalten nicht die SHA-3-Kandidaten (außer SHABAL), aber ich arbeite daran.

— Thomas Pornin
quelle

2

Ich denke nicht, dass Ihre Benchmarks nützlich sind. Ein Geschwindigkeitsvergleich zweier Algorithmen auf der Grundlage einer äquivalenten, aber unvollständigen Optimierung ist irrelevant. In der realen Welt rollen Sie nicht Ihre eigene Implementierung, sondern verwenden vollständig optimierte Implementierungen. Die Ergebnisse daraus sollten verglichen werden.

— Edward Brey

10

@EdwardBrey Eigentlich sind diese fast vollständig optimiert. Tatsächlich funktioniert seine md5-Implementierung viel schneller als die von OpenSSL, sodass nicht jede Implementierung in der "realen Welt" optimiert wird, wie Sie sagen. Auch wenn diese nicht perfekt sind (da haben Sie Recht), dienen sie als perfekte Antwort auf diese spezielle Frage.

— Gaspa79

50

Auf meinem 2012 MacBook Air (Intel Core i5-3427U, 2x 1,8 GHz, 2,8 GHz Turbo) ist SHA-1 etwas schneller als MD5 (mit OpenSSL im 64-Bit-Modus):

$ openssl speed md5 sha1
OpenSSL 0.9.8r 8 Feb 2011
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              30055.02k    94158.96k   219602.97k   329008.21k   384150.47k
sha1             31261.12k    95676.48k   224357.36k   332756.21k   396864.62k

Update: 10 Monate später wurde SHA-1 mit OS X 10.9 auf demselben Computer langsamer:

$ openssl speed md5 sha1
OpenSSL 0.9.8y 5 Feb 2013
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              36277.35k   106558.04k   234680.17k   334469.33k   381756.70k
sha1             35453.52k    99530.85k   206635.24k   281695.48k   313881.86k

Zweites Update: Unter OS X 10.10 ist die SHA-1-Geschwindigkeit wieder auf 10.8:

$ openssl speed md5 sha1
OpenSSL 0.9.8zc 15 Oct 2014
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              35391.50k   104905.27k   229872.93k   330506.91k   382791.75k
sha1             38054.09k   110332.44k   238198.72k   340007.12k   387137.77k

Drittes Update: OS X 10.14 mit LibreSSL ist viel schneller (immer noch auf demselben Computer). SHA-1 hat immer noch die Nase vorn:

$ openssl speed md5 sha1
LibreSSL 2.6.5
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              43128.00k   131797.91k   304661.16k   453120.00k   526789.29k
sha1             55598.35k   157916.03k   343214.08k   489092.34k   570668.37k

— nwellnhof
quelle

2

Seltsam, meine Luft ist die gleiche wie deine und ich habe entgegengesetzte Benchmark-Ergebnisse erzielt. mit 8192 Bytes: md5 305549.52k; sha1 204668.57k

— Carlos Fontes

3

Hmm, ich bekomme auch andere Ergebnisse als letztes Jahr auf derselben Maschine: md5 381756.70k, sha1 313881.86k. Möglicherweise aufgrund des Upgrades auf 10.9 (OpenSSL 0.9.8y).

— Nwellnhof

6

Das ist eine gute Antwort. es zeigt, dass es dich interessiert. danke Mann für das Teilen

— M am

13

Die wirkliche Antwort lautet: Es kommt darauf an

Es sind einige Faktoren zu berücksichtigen, die offensichtlichsten sind: die CPU, auf der Sie diese Algorithmen ausführen, und die Implementierung der Algorithmen.

Zum Beispiel führen ich und mein Freund beide genau dieselbe openssl-Version aus und erzielen mit unterschiedlichen Intel Core i7-CPUs leicht unterschiedliche Ergebnisse.

Mein Test bei der Arbeit mit einer Intel (R) Core (TM) i7-2600-CPU bei 3,40 GHz

The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              64257.97k   187370.26k   406435.07k   576544.43k   649827.67k
sha1             73225.75k   202701.20k   432679.68k   601140.57k   679900.50k

Und seine mit einer Intel (R) Core (TM) i7-CPU 920 bei 2,67 GHz

The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              51859.12k   156255.78k   350252.00k   513141.73k   590701.52k
sha1             56492.56k   156300.76k   328688.76k   452450.92k   508625.68k

Wir führen beide genau die gleichen Binärdateien von OpenSSL 1.0.1j vom 15. Oktober 2014 aus dem offiziellen ArchLinux-Paket aus.

Meiner Meinung nach verbessern CPU-Designer mit der zusätzlichen Sicherheit von sha1 eher die Geschwindigkeit von sha1, und mehr Programmierer werden an der Optimierung des Algorithmus arbeiten als md5sum.

Ich denke, dass md5 eines Tages nicht mehr verwendet wird, da es anscheinend keinen Vorteil gegenüber sha1 hat. Ich habe auch einige Fälle an realen Dateien getestet und die Ergebnisse waren in beiden Fällen immer gleich (wahrscheinlich begrenzt durch Festplatten-E / A.).

md5sum einer großen 4,6-GB-Datei hat genau dieselbe Zeit benötigt wie sha1sum derselben Datei. Dies gilt auch für viele kleine Dateien (488 im selben Verzeichnis). Ich habe die Tests ein Dutzend Mal durchgeführt und sie haben durchweg die gleichen Ergebnisse erzielt.

- -

Es wäre sehr interessant, dies weiter zu untersuchen. Ich denke, es gibt einige Experten, die eine solide Antwort darauf geben könnten, warum sha1 auf neueren Prozessoren schneller als md5 wird.

— Johnride
quelle

6

Sie müssen ernsthaft eine SSD kaufen (und / oder McAfee entfernen) :)

— Maarten Bodewes

1

@owlstead verdammt, ich habe vergessen, den "langsamen Modus" meiner Linux-Boxen auszuschalten, als ich das versuchte.

— Johnride

4

@ Johnride, nicht aus einer Datei vergleichen. Führen Sie es aus Daten im Speicher aus oder wiederholen Sie einfach den gleichen Wert.

— Robino

1

@Robino openssl speedmacht das, was der erste und aussagekräftigste Benchmark ist.

— Johnride

1

MD5 profitiert auch von der Verwendung von SSE2. Schauen Sie sich BarsWF an und sagen Sie mir, dass dies nicht der Fall ist. Alles was es braucht ist ein wenig Assembler-Wissen und Sie können Ihre eigenen MD5 SSE2-Routinen erstellen. Bei großen Durchsatzmengen gibt es jedoch einen Kompromiss zwischen der Geschwindigkeit beim Hashing und nicht der Zeit, die für die Neuanordnung der Eingabedaten aufgewendet wird, um mit den verwendeten SIMD-Anweisungen kompatibel zu sein.

— Bob der Baumeister
quelle

3

Auf den ersten Blick ist nicht klar, ob SSE2 verwendet wird, um einen MD5-Thread zu beschleunigen oder um einige parallele MD5-Threads zu koppeln. Letzteres ist für die meisten Algorithmen natürlich einfach, aber das zählt nicht als Vorteil von SSE2, da normalerweise nur ein einziger Datenstrom benötigt wird.

— Lapo

0

sha1sum ist auf Power9 viel schneller als md5sum

$ uname -mov
#1 SMP Mon May 13 12:16:08 EDT 2019 ppc64le GNU/Linux

$ cat /proc/cpuinfo
processor       : 0
cpu             : POWER9, altivec supported
clock           : 2166.000000MHz
revision        : 2.2 (pvr 004e 1202)

$ ls -l linux-master.tar
-rw-rw-r-- 1 x x 829685760 Jan 29 14:30 linux-master.tar

$ time sha1sum linux-master.tar
10fbf911e254c4fe8e5eb2e605c6c02d29a88563  linux-master.tar

real    0m1.685s
user    0m1.528s
sys     0m0.156s

$ time md5sum linux-master.tar
d476375abacda064ae437a683c537ec4  linux-master.tar

real    0m2.942s
user    0m2.806s
sys     0m0.136s

$ time sum linux-master.tar
36928 810240

real    0m2.186s
user    0m1.917s
sys     0m0.268s

— B Abali
quelle