Benötigen Sie etwas, das schneller ist als "wc -l"

Denn eine wirklich große Datei wie 1 GB wc -list langsam. Haben wir eine schnellere Möglichkeit, die Anzahl der Zeilenumbrüche für eine bestimmte Datei zu berechnen?

Sie können versuchen , in C zu schreiben:

#include <unistd.h>
#include <stdio.h>
#include <string.h>
int main(){
  char buf[BUFSIZ];
  int nread;
  size_t nfound=0;
  while((nread=read(0, buf, BUFSIZ))>0){
    char const* p;
    for(p=buf; p=memchr(p,'\n',nread-(p-buf)); nfound++,p++) {;}
  }
  if(nread<0) { perror("Error"); return 1; }
  printf("%lu\n", nfound);
  return 0;
}

Speichern Sie zB, wcl.ckompilieren Sie zB mit gcc wcl.c -O2 -o wclund führen Sie mit aus

<yourFile ./wcl

Dadurch werden in etwa 370 ms (wiederholte Durchläufe) Zeilenumbrüche in einer 1-GB-Datei auf meinem System angezeigt . (Durch Erhöhen der Puffergröße wird die zu erwartende Zeit geringfügig verlängert - BUFSIZ sollte nahezu optimal sein.) Dies ist sehr vergleichbar mit den ~ 380 ms , von denen ich komme wc -l.

Mmaping gibt mir eine bessere Zeit von ungefähr 280 ms , aber es hat natürlich die Einschränkung, auf echte Dateien beschränkt zu sein (kein FIFOS, keine Terminaleingabe usw.):

#include <stdio.h>
#include <string.h>
#include <sys/mman.h>
#include <sys/stat.h>
#include <sys/types.h>
#include <unistd.h>
int main(){
  struct stat sbuf;
  if(fstat(0, &sbuf)<0){ perror("Can't stat stdin"); return 1; }

  char* buf = mmap(NULL, sbuf.st_size, PROT_READ, MAP_PRIVATE, 0/*stdin*/, 0/*offset*/);
  if(buf == MAP_FAILED){ perror("Mmap error"); return 1; } 

  size_t nread = sbuf.st_size, nfound=0;
  char const* p;
  for(p=buf; p=memchr(p,'\n',nread-(p-buf)); nfound++,p++) {;}

  printf("%lu\n", nfound);
  return 0;
}

Ich habe meine Testdatei erstellt mit:

 $ dd if=/dev/zero of=file bs=1M count=1042 

und fügte einige Test-Zeilenumbrüche hinzu mit:

 $ echo >> 1GB 

und ein Hex-Editor.

Sie können die von @pskocik vorgeschlagene Lösung verbessern, indem Sie die Anzahl der Anrufe auf reduzieren read. Es gibt viele Aufrufe zum Lesen von BUFSIZChunks aus einer 1-GB-Datei. Der übliche Ansatz hierfür ist das Erhöhen der Puffergröße:

• Versuchen Sie nur zum Spaß, die Puffergröße um den Faktor 10 oder 100 zu BUFSIZerhöhen . Auf meinem Debian 7 ist es 8192. Mit dem ursprünglichen Programm sind das 120.000 Lesevorgänge. Sie können sich wahrscheinlich einen 1-MB-Eingabepuffer leisten, um diesen um den Faktor 100 zu reduzieren.
• Für einen optimaleren Ansatz können Anwendungen einen Puffer zuweisen, der so groß wie die Datei ist und einen einzelnen Lesevorgang erfordert. Das funktioniert gut genug für "kleine" Dateien (obwohl einige Leser mehr als 1 GB auf ihrem Computer haben).
• Schließlich können Sie mit speicherabgebildeten E / A experimentieren, die die Zuordnung als solche behandelt.

Beachten Sie beim Benchmarking der verschiedenen Ansätze möglicherweise, dass einige Systeme (z. B. Linux) den größten Teil des nicht verwendeten Speichers Ihres Computers als Festplatten-Cache verwenden. Vor einiger Zeit (vor fast 20 Jahren, erwähnt in den abscheulichen FAQ ) war ich verwirrt über unerwartet gute Ergebnisse eines (nicht sehr guten) Paging-Algorithmus, den ich entwickelt hatte, um mit Bedingungen mit wenig Speicher in einem Texteditor umzugehen. Mir wurde erklärt, dass es schnell lief, weil das Programm aus den Speicherpuffern arbeitete, die zum Lesen der Datei verwendet wurden, und dass es nur dann einen Geschwindigkeitsunterschied geben würde, wenn die Datei erneut gelesen oder geschrieben würde.

Gleiches gilt für mmap(in einem anderen Fall, der noch auf meiner To-Do-Liste steht, um ihn in eine FAQ aufzunehmen, meldete ein Entwickler sehr gute Ergebnisse in einem Szenario, in dem der Festplatten-Cache der eigentliche Grund für Verbesserungen war). Die Entwicklung von Benchmarks erfordert Zeit und Sorgfalt, um die Gründe für die gute (oder schlechte) Leistung zu analysieren.

Weiterführende Literatur:

• Ist die Verwendung eines größeren Puffers sinnvoll?
• mmap () vs. Leseblöcke
• mmap, munmap - Zuordnen oder Aufheben der Zuordnung von Dateien oder Geräten zum Speicher (zeigt ein Beispielprogramm)
• 13.7 Speicherzugeordnete E / A (Die GNU C-Bibliothek)
• So löschen Sie Festplatten-E / A-Caches unter Linux
• Wie leeren Sie die Puffer und den Cache auf einem Linux-System?