Ich habe nach Speicherzuordnungsdateien für ein Projekt gesucht und würde mich über Gedanken von Personen freuen, die sie entweder zuvor verwendet oder gegen deren Verwendung entschieden haben, und warum?
Insbesondere bin ich besorgt über Folgendes in der Reihenfolge seiner Bedeutung:
Antworten:
Ich denke, der Vorteil ist wirklich, dass Sie den Datenaufwand gegenüber herkömmlichen Methoden zum Lesen einer Datei reduzieren.
Wenn Ihre Anwendung die Daten "an Ort und Stelle" in einer Speicherzuordnungsdatei verwenden kann, können sie ohne Kopieren eingehen. Wenn Sie einen Systemaufruf verwenden (z. B. Linux's pread ()), kopiert der Kernel normalerweise die Daten aus seinen eigenen Puffern in den Benutzerbereich. Dieses zusätzliche Kopieren nimmt nicht nur Zeit in Anspruch, sondern verringert auch die Effektivität der CPU-Caches, indem auf diese zusätzliche Kopie der Daten zugegriffen wird.
Wenn die Daten tatsächlich von der Disc gelesen werden müssen (wie bei physischen E / A), muss das Betriebssystem sie dennoch einlesen. Ein Seitenfehler ist in Bezug auf die Leistung wahrscheinlich nicht besser als ein Systemaufruf, aber wenn dies der Fall ist nicht (dh bereits im Betriebssystem-Cache), die Leistung sollte theoretisch viel besser sein.
Auf der anderen Seite gibt es keine asynchrone Schnittstelle zu Dateien mit Speicherzuordnung. Wenn Sie versuchen, auf eine Seite zuzugreifen, die nicht zugeordnet ist, wird ein Seitenfehler generiert, und der Thread wartet auf die E / A.
Der offensichtliche Nachteil von Dateien mit Speicherzuordnung liegt in einem 32-Bit-Betriebssystem - Ihnen kann leicht der Adressraum ausgehen.
Ich habe eine Speicherzuordnungsdatei verwendet, um eine Funktion zum automatischen Vervollständigen zu implementieren, während der Benutzer tippt. Ich habe weit über 1 Million Produktteilenummern in einer einzigen Indexdatei gespeichert. Die Datei enthält einige typische Header-Informationen, aber der Großteil der Datei besteht aus einem riesigen Array von Datensätzen fester Größe, die nach dem Schlüsselfeld sortiert sind.
Zur Laufzeit wird die Datei speicherabgebildet, in ein Array im CStil umgewandelt struct, und wir führen eine binäre Suche durch, um übereinstimmende Teilenummern zu finden, während der Benutzer sie eingibt. Nur wenige Speicherseiten der Datei werden tatsächlich von der Festplatte gelesen - unabhängig davon, welche Seiten während der binären Suche getroffen werden.
Speicherzugeordnete Dateien können verwendet werden, um entweder den Lese- / Schreibzugriff zu ersetzen oder die gleichzeitige Freigabe zu unterstützen. Wenn Sie sie für einen Mechanismus verwenden, erhalten Sie auch den anderen.
Anstatt in einer Datei zu suchen, zu schreiben und zu lesen, ordnen Sie sie dem Speicher zu und greifen einfach auf die Bits zu, von denen Sie erwarten, dass sie sich befinden.
Dies kann sehr praktisch sein und je nach Schnittstelle des virtuellen Speichers die Leistung verbessern. Die Leistungsverbesserung kann auftreten, weil das Betriebssystem nun diese frühere "Datei-E / A" zusammen mit all Ihren anderen programmgesteuerten Speicherzugriffen verwalten kann und (theoretisch) die Paging-Algorithmen usw. nutzen kann, die es bereits zur Unterstützung verwendet virtueller Speicher für den Rest Ihres Programms. Dies hängt jedoch von der Qualität Ihres zugrunde liegenden virtuellen Speichersystems ab. Anekdoten Ich habe gehört, dass die virtuellen Speichersysteme Solaris und * BSD möglicherweise bessere Leistungsverbesserungen aufweisen als das VM-System von Linux - aber ich habe keine empirischen Daten, um dies zu belegen. YMMV.
Parallelität kommt ins Spiel, wenn Sie die Möglichkeit in Betracht ziehen, dass mehrere Prozesse dieselbe "Datei" über den zugeordneten Speicher verwenden. Wenn im Lese- / Schreibmodell zwei Prozesse in denselben Bereich der Datei schreiben, können Sie ziemlich sicher sein, dass eine der Prozessdaten in der Datei ankommt und die Daten des anderen Prozesses überschreibt. Du würdest das eine oder das andere bekommen - aber keine seltsame Vermischung. Ich muss zugeben, dass ich nicht sicher bin, ob dies ein Verhalten ist, das von einem Standard vorgeschrieben wird, aber darauf können Sie sich so ziemlich verlassen. (Es ist eigentlich eine gute Folgefrage!)
Stellen Sie sich im Gegensatz dazu in der kartierten Welt zwei Prozesse vor, die beide "schreiben". Sie tun dies, indem sie "Speicher" speichern, was dazu führt, dass der O / S die Daten auf die Festplatte auslagert - schließlich. In der Zwischenzeit ist jedoch mit überlappenden Schreibvorgängen zu rechnen.
Hier ist ein Beispiel. Angenommen, ich habe zwei Prozesse, die beide 8 Bytes am Offset 1024 schreiben. Prozess 1 schreibt '11111111' und Prozess 2 schreibt '22222222'. Wenn sie Datei-E / A verwenden, können Sie sich vorstellen, dass sich tief im Betriebssystem ein Puffer voller 1s und ein Puffer voller 2s befinden, die beide an dieselbe Stelle auf der Festplatte geleitet werden. Einer von ihnen wird zuerst dort ankommen und der andere eine Sekunde. In diesem Fall gewinnt der zweite. Allerdings , wenn ich die Memory-Mapped - Datei Ansatz verwende, Verfahren 1 wird eine Speicherspeicher von 4 Bytes gehen, durch einen anderen Speicher Speicher von 4 Bytes gefolgt (nehmen wir an , that't die maximale Speicherspeichergröße). Prozess 2 wird dasselbe tun. Abhängig davon, wann die Prozesse ausgeführt werden, können Sie Folgendes erwarten:
11111111
22222222
11112222
22221111
Die Lösung hierfür ist der explizite gegenseitige Ausschluss - was wahrscheinlich auf jeden Fall eine gute Idee ist. Sie haben sich sowieso darauf verlassen, dass das Betriebssystem "das Richtige" im E / A-Fall der Lese- / Schreibdatei tut.
Das Grundelement der gegenseitigen Ausgrenzung ist der Mutex. Für speicherabgebildete Dateien würde ich vorschlagen, dass Sie sich einen speicherabgebildeten Mutex ansehen, der mit (z. B.) pthread_mutex_init () verfügbar ist.
Bearbeiten mit einem Punkt: Wenn Sie zugeordnete Dateien verwenden, besteht die Versuchung, Zeiger auf die Daten in die Datei in die Datei selbst einzubetten (denken Sie an die in der zugeordneten Datei gespeicherte verknüpfte Liste). Sie möchten dies nicht tun, da die Datei möglicherweise zu unterschiedlichen Zeiten oder in unterschiedlichen Prozessen an unterschiedlichen absoluten Adressen zugeordnet wird. Verwenden Sie stattdessen Offsets in der zugeordneten Datei.
Parallelität wäre ein Problem. Direktzugriff ist einfacher Leistung ist gut bis großartig. Benutzerfreundlichkeit. Nicht so gut. Portabilität - nicht so heiß.
Ich habe sie vor langer Zeit auf einem Sonnensystem verwendet, und das sind meine Gedanken.