Wie kopiere ich große Datendateien Zeile für Zeile?

Ich habe eine 35 GB CSVDatei. Ich möchte jede Zeile lesen und die Zeile in eine neue CSV schreiben, wenn sie einer Bedingung entspricht.

try (BufferedWriter writer = Files.newBufferedWriter(Paths.get("source.csv"))) {
    try (BufferedReader br = Files.newBufferedReader(Paths.get("target.csv"))) {
        br.lines().parallel()
            .filter(line -> StringUtils.isNotBlank(line)) //bit more complex in real world
            .forEach(line -> {
                writer.write(line + "\n");
        });
    }
}

Dies dauert ca. 7 Minuten. Ist es möglich, diesen Prozess noch weiter zu beschleunigen?

Wenn dies eine Option ist, können Sie GZipInputStream / GZipOutputStream verwenden, um die Festplatten-E / A zu minimieren.

Files.newBufferedReader / Writer verwenden eine Standardpuffergröße von 8 KB, glaube ich. Sie könnten einen größeren Puffer versuchen.

Die Konvertierung in String, Unicode, verlangsamt sich auf (und verwendet den doppelten Speicher). Das verwendete UTF-8 ist nicht so einfach wie StandardCharsets.ISO_8859_1.

Am besten wäre es, wenn Sie größtenteils mit Bytes arbeiten können und diese nur für bestimmte CSV-Felder in String konvertieren.

Eine Speicherzuordnungsdatei ist möglicherweise am besten geeignet. Parallelität kann von Dateibereichen verwendet werden, die die Datei aufspucken.

try (FileChannel sourceChannel = new RandomAccessFile("source.csv","r").getChannel(); ...
MappedByteBuffer buf = sourceChannel.map(...);

Dies wird ein bisschen viel Code, der die Zeilen richtig einfügt (byte)'\n', aber nicht übermäßig komplex ist.

Sie können dies versuchen:

try (BufferedWriter writer = new BufferedWriter(new FileWriter(targetFile), 1024 * 1024 * 64)) {
  try (BufferedReader br = new BufferedReader(new FileReader(sourceFile), 1024 * 1024 * 64)) {

Ich denke, das spart Ihnen ein oder zwei Minuten. Der Test kann auf meinem Computer in ca. 4 Minuten durchgeführt werden, indem die Puffergröße angegeben wird.

könnte es schneller sein Versuche dies:

final char[] cbuf = new char[1024 * 1024 * 128];

try (Writer writer = new FileWriter(targetFile)) {
  try (Reader br = new FileReader(sourceFile)) {
    int cnt = 0;
    while ((cnt = br.read(cbuf)) > 0) {
      // add your code to process/split the buffer into lines.
      writer.write(cbuf, 0, cnt);
    }
  }
}

Dies sollte Ihnen drei oder vier Minuten sparen.

Wenn das noch nicht reicht. (Der Grund, warum Sie die Frage wahrscheinlich stellen, ist wahrscheinlich, dass Sie die Aufgabe wiederholt ausführen müssen.) wenn Sie es in einer Minute oder sogar ein paar Sekunden erledigen möchten. Dann sollten Sie die Daten verarbeiten und in db speichern und dann die Aufgabe von mehreren Servern verarbeiten.

Dank all Ihrer Vorschläge war der schnellste Austausch mit dem Autor, mit BufferedOutputStreamdem sich ca. 25% verbessert haben:

   try (BufferedReader reader = Files.newBufferedReader(Paths.get("sample.csv"))) {
        try (BufferedOutputStream writer = new BufferedOutputStream(Files.newOutputStream(Paths.get("target.csv")), 1024 * 16)) {
            reader.lines().parallel()
                    .filter(line -> StringUtils.isNotBlank(line)) //bit more complex in real world
                    .forEach(line -> {
                        writer.write((line + "\n").getBytes());
                    });
        }
    }

Trotzdem ist die Leistung BufferedReaderbesser als BufferedInputStreamin meinem Fall.