Lesen einer Binärdatei mit Python

Ich finde es besonders schwierig, Binärdateien mit Python zu lesen. Kannst du mir helfen? Ich muss diese Datei lesen, die in Fortran 90 leicht zu lesen ist

int*4 n_particles, n_groups
real*4 group_id(n_particles)
read (*) n_particles, n_groups
read (*) (group_id(j),j=1,n_particles)

Im Detail ist das Dateiformat:

Bytes 1-4 -- The integer 8.
Bytes 5-8 -- The number of particles, N.
Bytes 9-12 -- The number of groups.
Bytes 13-16 -- The integer 8.
Bytes 17-20 -- The integer 4*N.
Next many bytes -- The group ID numbers for all the particles.
Last 4 bytes -- The integer 4*N. 

Wie kann ich das mit Python lesen? Ich habe alles versucht, aber es hat nie funktioniert. Gibt es eine Möglichkeit, dass ich ein f90-Programm in Python verwende, diese Binärdatei lese und dann die Daten speichere, die ich verwenden muss?

Lesen Sie den Inhalt der Binärdatei folgendermaßen:

with open(fileName, mode='rb') as file: # b is important -> binary
    fileContent = file.read()

dann "entpacken" Sie Binärdaten mit struct.unpack :

Die Startbytes: struct.unpack("iiiii", fileContent[:20])

Der Körper: Ignoriere die Überschriftenbytes und das nachfolgende Byte (= 24); Der verbleibende Teil bildet den Körper. Um die Anzahl der Bytes im Körper zu kennen, wird eine ganzzahlige Division durch 4 durchgeführt. Der erhaltene Quotient wird mit der Zeichenfolge multipliziert 'i', um das richtige Format für die Entpackmethode zu erstellen:

struct.unpack("i" * ((len(fileContent) -24) // 4), fileContent[20:-4])

Das Endbyte: struct.unpack("i", fileContent[-4:])

Im Allgemeinen würde ich empfehlen, dass Sie sich mit der Verwendung des Strukturmoduls von Python befassen . Es ist Standard bei Python und es sollte einfach sein, die Spezifikation Ihrer Frage in eine Formatierungszeichenfolge zu übersetzen, die für geeignet ist struct.unpack().

Beachten Sie, dass Sie, wenn zwischen den Feldern "unsichtbare" Auffüllungen vorhanden sind, dies herausfinden und in den unpack()Aufruf aufnehmen müssen, da Sie sonst die falschen Bits lesen.

Das Lesen des Inhalts der Datei, um etwas zum Entpacken zu haben, ist ziemlich trivial:

import struct

data = open("from_fortran.bin", "rb").read()

(eight, N) = struct.unpack("@II", data)

Dadurch werden die ersten beiden Felder entpackt, vorausgesetzt, sie beginnen ganz am Anfang der Datei (kein Auffüllen oder fremde Daten), und es wird auch die native Bytereihenfolge (das @Symbol) angenommen. Die Is in der Formatierungszeichenfolge bedeuten "Ganzzahl ohne Vorzeichen, 32 Bit".

Sie können verwenden numpy.fromfile, die Daten sowohl aus Text- als auch aus Binärdateien lesen können. Sie würden zuerst einen Datentyp erstellen, der Ihr Dateiformat darstellt numpy.dtype, und diesen Typ dann mit aus der Datei lesen numpy.fromfile.

So lesen Sie eine Binärdatei in ein bytesObjekt:

from pathlib import Path
data = Path('/path/to/file').read_bytes()  # Python 3.5+

So erstellen Sie ein intByte 0-3 der Daten:

i = int.from_bytes(data[:4], byteorder='little', signed=False)

So entpacken Sie mehrere ints aus den Daten:

import struct
ints = struct.unpack('iiii', data[:16])

• pathlib
• int.from_bytes()
• struct

Ich fand auch, dass Python beim Lesen und Schreiben von Binärdateien fehlt, deshalb habe ich ein kleines Modul geschrieben (für Python 3.6+).

Mit binaryfile würden Sie so etwas tun (ich vermute , da ich Fortran nicht kenne):

import binaryfile

def particle_file(f):
    f.array('group_ids')  # Declare group_ids to be an array (so we can use it in a loop)
    f.skip(4)  # Bytes 1-4
    num_particles = f.count('num_particles', 'group_ids', 4)  # Bytes 5-8
    f.int('num_groups', 4)  # Bytes 9-12
    f.skip(8)  # Bytes 13-20
    for i in range(num_particles):
        f.struct('group_ids', '>f')  # 4 bytes x num_particles
    f.skip(4)

with open('myfile.bin', 'rb') as fh:
    result = binaryfile.read(fh, particle_file)
print(result)

Was eine Ausgabe wie diese erzeugt:

{
    'group_ids': [(1.0,), (0.0,), (2.0,), (0.0,), (1.0,)],
    '__skipped': [b'\x00\x00\x00\x08', b'\x00\x00\x00\x08\x00\x00\x00\x14', b'\x00\x00\x00\x14'],
    'num_particles': 5,
    'num_groups': 3
}

Ich habe skip () verwendet, um die zusätzlichen Daten zu überspringen, die Fortran hinzufügt, aber Sie können stattdessen ein Dienstprogramm hinzufügen, um Fortran-Datensätze ordnungsgemäß zu behandeln. In diesem Fall wäre eine Pull-Anfrage willkommen.

import pickle
f=open("filename.dat","rb")
try:
    while True:
        x=pickle.load(f)
        print x
except EOFError:
    pass
f.close()