Wie vergleiche ich Binärdateien unter Linux?

Ich muss zwei Binärdateien vergleichen und die Ausgabe in der Form erhalten:

<fileoffset-hex> <file1-byte-hex> <file2-byte-hex>

für jedes andere Byte. Also wenn file1.binja

  00 90 00 11

in binärer Form und file2.binist

  00 91 00 10

Ich möchte so etwas bekommen

  00000001 90 91
  00000003 11 10

Gibt es eine Möglichkeit, dies unter Linux zu tun? Ich weiß, cmp -laber es verwendet ein Dezimalsystem für Offsets und Oktal für Bytes, die ich vermeiden möchte.

Dies gibt den Offset und die Bytes in hexadezimaler Form aus:

cmp -l file1.bin file2.bin | gawk '{printf "%08X %02X %02X\n", $1, strtonum(0$2), strtonum(0$3)}'

Oder lassen Sie $1-1den ersten gedruckten Versatz bei 0 beginnen.

cmp -l file1.bin file2.bin | gawk '{printf "%08X %02X %02X\n", $1-1, strtonum(0$2), strtonum(0$3)}'

Leider strtonum()ist GAWK-spezifisch. Daher müssen Sie für andere Versionen von awk - z. B. mawk - eine Konvertierungsfunktion von Oktal zu Dezimal verwenden. Zum Beispiel,

cmp -l file1.bin file2.bin | mawk 'function oct2dec(oct,     dec) {for (i = 1; i <= length(oct); i++) {dec *= 8; dec += substr(oct, i, 1)}; return dec} {printf "%08X %02X %02X\n", $1, oct2dec($2), oct2dec($3)}'

Aus Gründen der Lesbarkeit aufgeschlüsselt:

cmp -l file1.bin file2.bin |
    mawk 'function oct2dec(oct,    dec) {
              for (i = 1; i <= length(oct); i++) {
                  dec *= 8;
                  dec += substr(oct, i, 1)
              };
              return dec
          }
          {
              printf "%08X %02X %02X\n", $1, oct2dec($2), oct2dec($3)
          }'

Als ~ quack darauf hingewiesen:

 % xxd b1 > b1.hex
 % xxd b2 > b2.hex

Und dann

 % diff b1.hex b2.hex

oder

 % vimdiff b1.hex b2.hex

diff + xxd

Probieren Sie diffdie folgende Kombination aus zsh / bash-Prozessersetzung aus:

diff -y <(xxd foo1.bin) <(xxd foo2.bin)

Wo:

• -y Zeigt die Unterschiede nebeneinander an (optional).
• xxd ist ein CLI-Tool zum Erstellen einer Hexdump-Ausgabe der Binärdatei.
• Add -W200to difffür eine breitere Ausgabe (mit 200 Zeichen pro Zeile).
• Verwenden Sie für Farben colordiffdie folgenden Angaben.

colordiff + xxd

Wenn Sie haben colordiff, kann es die diffAusgabe einfärben , zB:

colordiff -y <(xxd foo1.bin) <(xxd foo2.bin)

^{Andernfalls installieren über: sudo apt-get install colordiff.}

Beispielausgabe:

vimdiff + xxd

Sie können auch vimdiffz

vimdiff <(xxd foo1.bin) <(xxd foo2.bin)

Hinweise:

• Wenn die Dateien zu groß sind, fügen Sie jeweils ein Limit hinzu (z. B. -l1000)xxd

Es gibt ein Tool namens DHEX, das die Arbeit erledigen kann, und es gibt ein anderes Tool namens VBinDiff .

Versuchen Sie es mit jojodiff , um eine strikte Befehlszeilenmethode zu erhalten .

Methode, die für das Hinzufügen / Löschen von Bytes funktioniert

diff <(od -An -tx1 -w1 -v file1) \
     <(od -An -tx1 -w1 -v file2)

Generieren Sie einen Testfall mit einer einzelnen Entfernung von Byte 64:

for i in `seq 128`; do printf "%02x" "$i"; done | xxd -r -p > file1
for i in `seq 128`; do if [ "$i" -ne 64 ]; then printf "%02x" $i; fi; done | xxd -r -p > file2

Ausgabe:

64d63
<  40

Wenn Sie auch die ASCII-Version des Zeichens sehen möchten:

bdiff() (
  f() (
    od -An -tx1c -w1 -v "$1" | paste -d '' - -
  )
  diff <(f "$1") <(f "$2")
)

bdiff file1 file2

Ausgabe:

64d63
<   40   @

Getestet unter Ubuntu 16.04.

Ich ziehe es odüber , xxdweil:

• es ist POSIX , xxdist nicht (kommt mit Vim)
• muss die -Anadressenspalte ohne entfernen awk.

Befehlserklärung:

• -AnEntfernt die Adressenspalte. Dies ist wichtig, da sich sonst alle Zeilen nach dem Hinzufügen / Entfernen eines Bytes unterscheiden würden.
• -w1setzt ein Byte pro Zeile, so dass diff es verbrauchen kann. Es ist von entscheidender Bedeutung, ein Byte pro Zeile zu haben, da sonst jede Zeile nach dem Löschen außer Phase gerät und sich unterscheidet. Leider ist dies kein POSIX, sondern in GNU vorhanden.
• -tx1 Bei der gewünschten Darstellung ändern Sie den Wert auf einen beliebigen Wert, solange Sie 1 Byte pro Zeile beibehalten.
• -vVerhindert die Abkürzung für *die Sternchenwiederholung, die das Diff stören könnte
• paste -d '' - -Verbindet alle zwei Zeilen. Wir brauchen es, weil Hex und ASCII in separate benachbarte Zeilen gehen. Entnommen aus: https://stackoverflow.com/questions/8987257/catenating-every-other-line-with-the-next
• Wir verwenden Klammern (), um den Umfang der inneren Funktion zu definieren, bdiffanstatt ihn {}einzuschränken f. Siehe auch: https://stackoverflow.com/questions/8426077/how-to-define-a-function-inside-another-function-in-bash

Siehe auch:

• https://unix.stackexchange.com/questions/59849/diff-binary-files-of-different-sizes
• https://stackoverflow.com/questions/8385618/using-cmp-to-compare-two-binaries

Kurze Antwort

vimdiff <(xxd -c1 -p first.bin) <(xxd -c1 -p second.bin)

Insbesondere bei Verwendung von Hexdumps und Text Diff zum Vergleichen von Binärdateien xxdkommt es durch das Hinzufügen und Entfernen von Bytes zu Adressverschiebungen, die die Anzeige möglicherweise erschweren. Diese Methode weist xxd an, keine Adressen auszugeben und nur ein Byte pro Zeile auszugeben, wodurch genau angezeigt wird, welche Bytes geändert, hinzugefügt oder entfernt wurden. Sie können die Adressen später finden, indem Sie in einem "normalen" Hexdump (Ausgabe von xxd first.bin) nach den interessanten Folgen von Bytes suchen .

Ich empfehle hexdump zum Speichern von Binärdateien im Textformat und kdiff3 zum Anzeigen von Unterschieden.

hexdump myfile1.bin > myfile1.hex
hexdump myfile2.bin > myfile2.hex
kdiff3 myfile1.hex myfile2.hex

Das hexdiffist ein Programm, das genau das macht, wonach Sie suchen.

Verwendungszweck:

hexdiff file1 file2

Es zeigt das Hexadezimal (und 7-Bit-ASCII) der beiden Dateien übereinander an, wobei alle Unterschiede hervorgehoben sind. Suchen Sie man hexdiffnach den Befehlen, die in der Datei verschoben werden sollen, und ein einfacher qBefehl wird beendet.

Es kann sein, dass die Frage nicht genau beantwortet wird, aber ich verwende dies für verschiedene Binärdateien:

gvim -d <(xxd -c 1 ~/file1.bin | awk '{print $2, $3}') <(xxd -c 1 ~/file2.bin | awk '{print $2, $3}')

Es druckt beide Dateien als Hex- und ASCII- Werte aus, ein Byte pro Zeile, und verwendet dann die Diff-Funktion von Vim, um sie visuell darzustellen.

dhex http://www.dettus.net/dhex/

DHEX ist mehr als nur ein Hex-Editor: Es enthält einen Diff-Modus, mit dem zwei Binärdateien einfach und bequem verglichen werden können. Da es auf ncurses basiert und themenorientiert ist, kann es auf einer beliebigen Anzahl von Systemen und Szenarien ausgeführt werden. Durch die Verwendung von Suchprotokollen ist es möglich, Änderungen in verschiedenen Iterationen von Dateien einfach zu verfolgen.

Sie können das Tool gvimdiff verwenden, das im Paket vim-gui-common enthalten ist

sudo apt-get update

sudo apt-get installiere vim-gui-common

Dann können Sie 2 hexadezimale Dateien mit folgenden Befehlen vergleichen:

ubuntu> gvimdiff <hex-file1> <hex-file2>

Das ist alles. Hoffe die Hilfe!

Das Firmware-Analysetool binwalkhat dies auch als eine Funktion über die Befehlszeilenoption -W/ --hexdump, die Optionen bietet, mit denen nur die unterschiedlichen Bytes angezeigt werden:

    -W, --hexdump                Perform a hexdump / diff of a file or files
    -G, --green                  Only show lines containing bytes that are the same among all files
    -i, --red                    Only show lines containing bytes that are different among all files
    -U, --blue                   Only show lines containing bytes that are different among some files
    -w, --terse                  Diff all files, but only display a hex dump of the first file

Im Beispiel von OP binwalk -W file1.bin file2.bin:

https://security.googleblog.com/2016/03/bindiff-now-available-for-free.html

BinDiff ist ein großartiges UI-Tool zum Vergleichen von Binärdateien, die kürzlich geöffnet wurden.

Das Go-to-Open-Source-Produkt unter Linux (und allem anderen) ist Radare , das radiff2explizit für diesen Zweck bereitgestellt wird . Ich habe dafür gestimmt, dies zu schließen, weil ich und andere in der von Ihnen gestellten Frage dieselbe Frage haben

für jedes andere Byte

Das ist aber verrückt. Denn wenn Sie, wie gefragt, ein Byte am ersten Byte in die Datei einfügen, ist jedes nachfolgende Byte anders und der Diff würde die gesamte Datei wiederholen, um eine tatsächliche Differenz von einem Byte zu erhalten.

Etwas praktischer ist radiff -O. Das -Oist für "" Code mit allen Bytes anstelle nur der festen Opcode-Bytes unterscheiden. ""

0x000000a4 0c01 => 3802 0x000000a4
0x000000a8 1401 => 3802 0x000000a8
0x000000ac 06 => 05 0x000000ac
0x000000b4 02 => 01 0x000000b4
0x000000b8 4c05 => 0020 0x000000b8
0x000000bc 4c95 => 00a0 0x000000bc
0x000000c0 4c95 => 00a0 0x000000c0

Wie IDA Pro ist Radare ein primäres Werkzeug für die Binäranalyse. Sie können auch Delta-Differenzen mit -danzeigen oder die disassemblierten Bytes anstelle von Hex mit anzeigen -D.

Wenn Sie diese Art von Fragen stellen, lesen Sie weiter

• Stack Overflow für die Software-Fragen,
• Reverse Engineering Stack Exchange
• Radare's radiff2für binäres Diffing