So verarbeiten Sie eine Datei in PowerShell zeilenweise als Stream

Ich arbeite mit einigen Multi-Gigabyte-Textdateien und möchte mit PowerShell Stream-Verarbeitung für sie durchführen. Es ist ganz einfach, jede Zeile zu analysieren, einige Daten abzurufen und sie dann in einer Datenbank zu speichern.

Leider get-content | %{ whatever($_) }scheint der gesamte Satz von Zeilen in dieser Phase der Pipe im Speicher zu bleiben. Es ist auch überraschend langsam und es dauert sehr lange, alles tatsächlich einzulesen.

Meine Frage besteht also aus zwei Teilen:

1. Wie kann ich dafür sorgen, dass der Stream zeilenweise verarbeitet wird und nicht das gesamte Objekt im Speicher gepuffert wird? Ich möchte vermeiden, mehrere GB RAM für diesen Zweck zu verbrauchen.
2. Wie kann ich es schneller laufen lassen? PowerShell, das über a iteriert, get-contentscheint 100-mal langsamer zu sein als ein C # -Skript.

Ich hoffe, ich mache hier etwas Dummes, wie das Fehlen eines -LineBufferSizeParameters oder so ...

Wenn Sie wirklich an Textdateien mit mehreren Gigabyte arbeiten möchten, verwenden Sie PowerShell nicht. Selbst wenn Sie einen Weg finden, es schneller zu lesen, wird die Verarbeitung einer großen Anzahl von Zeilen in PowerShell ohnehin langsam sein, und Sie können dies nicht vermeiden. Selbst einfache Schleifen sind teuer, sagen wir für 10 Millionen Iterationen (in Ihrem Fall ziemlich real), die wir haben:

# "empty" loop: takes 10 seconds
measure-command { for($i=0; $i -lt 10000000; ++$i) {} }

# "simple" job, just output: takes 20 seconds
measure-command { for($i=0; $i -lt 10000000; ++$i) { $i } }

# "more real job": 107 seconds
measure-command { for($i=0; $i -lt 10000000; ++$i) { $i.ToString() -match '1' } }

UPDATE: Wenn Sie immer noch keine Angst haben, versuchen Sie, den .NET-Reader zu verwenden:

$reader = [System.IO.File]::OpenText("my.log")
try {
    for() {
        $line = $reader.ReadLine()
        if ($line -eq $null) { break }
        # process the line
        $line
    }
}
finally {
    $reader.Close()
}

UPDATE 2

Es gibt Kommentare zu möglicherweise besserem / kürzerem Code. Es ist nichts falsch mit dem Originalcode forund es ist kein Pseudocode. Die kürzere (kürzeste?) Variante der Leseschleife ist jedoch

$reader = [System.IO.File]::OpenText("my.log")
while($null -ne ($line = $reader.ReadLine())) {
    $line
}

System.IO.File.ReadLines()ist perfekt für dieses Szenario. Es gibt alle Zeilen einer Datei zurück, aber Sie können sofort mit dem Durchlaufen der Zeilen beginnen, sodass nicht der gesamte Inhalt im Speicher gespeichert werden muss.

Benötigt .NET 4.0 oder höher.

foreach ($line in [System.IO.File]::ReadLines($filename)) {
    # do something with $line
}

http://msdn.microsoft.com/en-us/library/dd383503.aspx

Wenn Sie PowerShell verwenden möchten, lesen Sie den folgenden Code.

$content = Get-Content C:\Users\You\Documents\test.txt
foreach ($line in $content)
{
    Write-Host $line
}