Wie lese ich eine große Datei Zeile für Zeile?

Ich möchte eine Datei Zeile für Zeile lesen, ohne sie jedoch vollständig in den Speicher zu laden.

Meine Datei ist zu groß, um im Speicher geöffnet zu werden. Wenn ich dies versuche, werden immer Speicherfehler angezeigt.

Die Dateigröße beträgt 1 GB.

Mit der fgets()Funktion können Sie die Datei Zeile für Zeile lesen:

$handle = fopen("inputfile.txt", "r");
if ($handle) {
    while (($line = fgets($handle)) !== false) {
        // process the line read.
    }

    fclose($handle);
} else {
    // error opening the file.
} 

if ($file = fopen("file.txt", "r")) {
    while(!feof($file)) {
        $line = fgets($file);
        # do same stuff with the $line
    }
    fclose($file);
}

Sie können eine objektorientierte Schnittstellenklasse für eine Datei verwenden - SplFileObject http://php.net/manual/en/splfileobject.fgets.php (PHP 5> = 5.1.0)

<?php

$file = new SplFileObject("file.txt");

// Loop until we reach the end of the file.
while (!$file->eof()) {
    // Echo one line from the file.
    echo $file->fgets();
}

// Unset the file to call __destruct(), closing the file handle.
$file = null;

Wenn Sie eine große Datei öffnen, möchten Sie wahrscheinlich Generatoren neben fgets () verwenden, um zu vermeiden, dass die gesamte Datei in den Speicher geladen wird:

/**
 * @return Generator
 */
$fileData = function() {
    $file = fopen(__DIR__ . '/file.txt', 'r');

    if (!$file)
        die('file does not exist or cannot be opened');

    while (($line = fgets($file)) !== false) {
        yield $line;
    }

    fclose($file);
};

Verwenden Sie es so:

foreach ($fileData() as $line) {
    // $line contains current line
}

Auf diese Weise können Sie einzelne Dateizeilen innerhalb von foreach () verarbeiten.

Hinweis: Generatoren benötigen> = PHP 5.5

Verwenden Sie Puffertechniken, um die Datei zu lesen.

$filename = "test.txt";
$source_file = fopen( $filename, "r" ) or die("Couldn't open $filename");
while (!feof($source_file)) {
    $buffer = fread($source_file, 4096);  // use a buffer of 4KB
    $buffer = str_replace($old,$new,$buffer);
    ///
}

Es gibt eine file()Funktion, die ein Array der in der Datei enthaltenen Zeilen zurückgibt.

foreach(file('myfile.txt') as $line) {
   echo $line. "\n";
}

foreach (new SplFileObject(__FILE__) as $line) {
    echo $line;
}

Die offensichtliche Antwort war nicht in allen Antworten vorhanden.
PHP verfügt über einen ordentlichen Streaming-Trennzeichen-Parser, der genau für diesen Zweck entwickelt wurde.

$fp = fopen("/path/to/the/file", "r+");
while ($line = stream_get_line($fp, 1024 * 1024, "\n")) {
  echo $line;
}
fclose($fp);

Seien Sie vorsichtig mit dem 'while (! Feof ... fgets ()' - Zeug, fgets können einen Fehler bekommen (returnfing false) und für immer eine Schleife ausführen, ohne das Dateiende zu erreichen. Codaddict war der Richtigkeit am nächsten, aber wenn Ihr 'while fgets' Schleife endet, überprüfen Sie feof; wenn nicht wahr, dann hatten Sie einen Fehler.

So verwalte ich mit sehr großen Dateien (getestet mit bis zu 100G). Und es ist schneller als fgets ()

$block =1024*1024;//1MB or counld be any higher than HDD block_size*2
if ($fh = fopen("file.txt", "r")) { 
    $left='';
    while (!feof($fh)) {// read the file
       $temp = fread($fh, $block);  
       $fgetslines = explode("\n",$temp);
       $fgetslines[0]=$left.$fgetslines[0];
       if(!feof($fh) )$left = array_pop($lines);           
       foreach ($fgetslines as $k => $line) {
           //do smth with $line
        }
     }
}
fclose($fh);

Eine der beliebtesten Lösungen für diese Frage wird Probleme mit dem neuen Linienzeichen haben. Es kann ziemlich einfach mit einem einfachen behoben werden str_replace.

$handle = fopen("some_file.txt", "r");
if ($handle) {
    while (($line = fgets($handle)) !== false) {
        $line = str_replace("\n", "", $line);
    }
    fclose($handle);
}

SplFileObject ist nützlich, wenn es um den Umgang mit großen Dateien geht.

function parse_file($filename)
{
    try {
        $file = new SplFileObject($filename);
    } catch (LogicException $exception) {
        die('SplFileObject : '.$exception->getMessage());
    }
    while ($file->valid()) {
        $line = $file->fgets();
        //do something with $line
    }

    //don't forget to free the file handle.
    $file = null;
}

<?php
echo '<meta charset="utf-8">';

$k= 1;
$f= 1;
$fp = fopen("texttranslate.txt", "r");
while(!feof($fp)) {
    $contents = '';
    for($i=1;$i<=1500;$i++){
        echo $k.' -- '. fgets($fp) .'<br>';$k++;
        $contents .= fgets($fp);
    }
    echo '<hr>';
    file_put_contents('Split/new_file_'.$f.'.txt', $contents);$f++;
}
?>

Funktion zum Lesen mit Array-Rückgabe

function read_file($filename = ''){
    $buffer = array();
    $source_file = fopen( $filename, "r" ) or die("Couldn't open $filename");
    while (!feof($source_file)) {
        $buffer[] = fread($source_file, 4096);  // use a buffer of 4KB
    }
    return $buffer;
}