Der schnellste Weg, um festzustellen, ob zwei Dateien unter Unix / Linux denselben Inhalt haben?

Ich habe ein Shell-Skript, in dem ich überprüfen muss, ob zwei Dateien dieselben Daten enthalten oder nicht. Ich mache dies für viele Dateien, und in meinem Skript diffscheint der Befehl der Leistungsengpass zu sein.

Hier ist die Zeile:

diff -q $dst $new > /dev/null

if ($status) then ...

Könnte es eine schnellere Möglichkeit geben, die Dateien zu vergleichen, möglicherweise einen benutzerdefinierten Algorithmus anstelle des Standardalgorithmus diff?

Ich glaube, cmpwird beim ersten Byte Unterschied aufhören:

cmp --silent $old $new || echo "files are different"

Ich mag @Alex Howansky hat dafür 'cmp --silent' verwendet. Aber ich brauche sowohl positive als auch negative Antworten, also benutze ich:

cmp --silent file1 file2 && echo '### SUCCESS: Files Are Identical! ###' || echo '### WARNING: Files Are Different! ###'

Ich kann dies dann im Terminal oder mit einem SSH ausführen, um Dateien gegen eine konstante Datei zu prüfen.

Warum erhalten Sie nicht den Hash beider Dateiinhalte?

Probieren Sie dieses Skript aus, rufen Sie es beispielsweise script.sh auf und führen Sie es dann wie folgt aus: script.sh file1.txt file2.txt

#!/bin/bash

file1=`md5 $1`
file2=`md5 $2`

if [ "$file1" = "$file2" ]
then
    echo "Files have the same content"
else
    echo "Files have NOT the same content"
fi

Da ich lutsche und nicht genug Reputationspunkte habe, kann ich diesen Leckerbissen nicht als Kommentar hinzufügen.

Wenn Sie jedoch den cmpBefehl verwenden möchten (und nicht ausführlich sein müssen / möchten), können Sie einfach den Exit-Status abrufen. Per cmpManpage:

Wenn eine DATEI '-' ist oder fehlt, lesen Sie die Standardeingabe. Der Ausgangsstatus ist 0, wenn die Eingänge gleich sind, 1, wenn sie unterschiedlich sind, 2, wenn Probleme auftreten.

Sie könnten also Folgendes tun:

STATUS="$(cmp --silent $FILE1 $FILE2; echo $?)"  # "$?" gives exit status for each comparison

if [[$STATUS -ne 0]]; then  # if status isn't equal to 0, then execute code
    DO A COMMAND ON $FILE1
else
    DO SOMETHING ELSE
fi

Für Dateien, die nicht unterschiedlich sind, muss für jede Methode beide Dateien vollständig gelesen werden, auch wenn der Lesevorgang in der Vergangenheit stattgefunden hat.

Es gibt keine Alternative. Um zu einem bestimmten Zeitpunkt Hashes oder Prüfsummen zu erstellen, muss die gesamte Datei gelesen werden. Große Dateien brauchen Zeit.

Das Abrufen von Dateimetadaten ist viel schneller als das Lesen einer großen Datei.

Gibt es also Dateimetadaten, mit denen Sie feststellen können, dass die Dateien unterschiedlich sind? Dateigröße ? oder sogar Ergebnisse des Dateibefehls, der nur einen kleinen Teil der Datei liest?

Beispielcodefragment für Dateigröße:

  ls -l $1 $2 | 
  awk 'NR==1{a=$5} NR==2{b=$5} 
       END{val=(a==b)?0 :1; exit( val) }'

[ $? -eq 0 ] && echo 'same' || echo 'different'  

Wenn die Dateien dieselbe Größe haben, bleiben Sie beim vollständigen Lesen der Dateien hängen.

Versuchen Sie auch, den Befehl cksum zu verwenden:

chk1=`cksum <file1> | awk -F" " '{print $1}'`
chk2=`cksum <file2> | awk -F" " '{print $1}'`

if [ $chk1 -eq $chk2 ]
then
  echo "File is identical"
else
  echo "File is not identical"
fi

Der Befehl cksum gibt die Byteanzahl einer Datei aus. Siehe 'man cksum'.

Bei einigen Tests mit einem Raspberry Pi 3B + (ich verwende ein Overlay-Dateisystem und muss regelmäßig synchronisieren) habe ich einen eigenen Vergleich für diff -q und cmp -s durchgeführt. Beachten Sie, dass dies ein Protokoll aus / dev / shm ist, sodass die Geschwindigkeit des Festplattenzugriffs kein Problem darstellt:

[root@mypi shm]# dd if=/dev/urandom of=test.file bs=1M count=100 ; time diff -q test.file test.copy && echo diff true || echo diff false ; time cmp -s test.file test.copy && echo cmp true || echo cmp false ; cp -a test.file test.copy ; time diff -q test.file test.copy && echo diff true || echo diff false; time cmp -s test.file test.copy && echo cmp true || echo cmp false
100+0 records in
100+0 records out
104857600 bytes (105 MB) copied, 6.2564 s, 16.8 MB/s
Files test.file and test.copy differ

real    0m0.008s
user    0m0.008s
sys     0m0.000s
diff false

real    0m0.009s
user    0m0.007s
sys     0m0.001s
cmp false
cp: overwrite âtest.copyâ? y

real    0m0.966s
user    0m0.447s
sys     0m0.518s
diff true

real    0m0.785s
user    0m0.211s
sys     0m0.573s
cmp true
[root@mypi shm]# pico /root/rwbscripts/utils/squish.sh

Ich habe es ein paar Mal ausgeführt. cmp -s hatten auf der von mir verwendeten Testbox durchweg etwas kürzere Zeiten. Wenn Sie also cmp -s verwenden möchten, um Dinge zwischen zwei Dateien zu erledigen ...

identical (){
  echo "$1" and "$2" are the same.
  echo This is a function, you can put whatever you want in here.
}
different () {
  echo "$1" and "$2" are different.
  echo This is a function, you can put whatever you want in here, too.
}
cmp -s "$FILEA" "$FILEB" && identical "$FILEA" "$FILEB" || different "$FILEA" "$FILEB"