Lesen Sie die ersten N Zeilen einer Datei in Python

Wir haben eine große Rohdatendatei, die wir auf eine bestimmte Größe zuschneiden möchten. Ich habe Erfahrung mit .net c #, möchte dies jedoch in Python tun, um die Dinge zu vereinfachen und aus Interesse.

Wie würde ich vorgehen, um die ersten N Zeilen einer Textdatei in Python abzurufen? Wird das verwendete Betriebssystem Auswirkungen auf die Implementierung haben?

Python 2

with open("datafile") as myfile:
    head = [next(myfile) for x in xrange(N)]
print head

Python 3

with open("datafile") as myfile:
    head = [next(myfile) for x in range(N)]
print(head)

Hier ist ein anderer Weg (sowohl Python 2 als auch 3)

from itertools import islice
with open("datafile") as myfile:
    head = list(islice(myfile, N))
print head

N = 10
with open("file.txt", "a") as file:  # the a opens it in append mode
    for i in range(N):
        line = next(file).strip()
        print(line)

Wenn Sie die ersten Zeilen schnell lesen möchten und sich nicht um die Leistung kümmern, können Sie .readlines()das Listenobjekt "return" verwenden und dann die Liste aufteilen.

ZB für die ersten 5 Zeilen:

with open("pathofmyfileandfileandname") as myfile:
    firstNlines=myfile.readlines()[0:5] #put here the interval you want

Hinweis: Die gesamte Datei wird gelesen, ist also aus Sicht der Leistung nicht die beste, aber einfach zu verwenden, schnell zu schreiben und leicht zu merken. Wenn Sie also nur eine einmalige Berechnung durchführen möchten, ist dies sehr praktisch

print firstNlines

Ein Vorteil gegenüber den anderen Antworten ist die Möglichkeit, den Zeilenbereich einfach auszuwählen, z. B. die ersten 10 Zeilen [10:30]oder die letzten 10 Zeilen zu überspringen [:-10]oder nur gerade Zeilen zu nehmen [::2].

Was ich tue, ist, die N Leitungen mit aufzurufen pandas. Ich denke, die Leistung ist nicht die beste, aber zum Beispiel, wenn N=1000:

import pandas as pd
yourfile = pd.read('path/to/your/file.csv',nrows=1000)

Es gibt keine spezielle Methode zum Lesen der Anzahl der Zeilen, die vom Dateiobjekt angezeigt werden.

Ich denke, der einfachste Weg wäre folgender:

lines =[]
with open(file_name) as f:
    lines.extend(f.readline() for i in xrange(N))

Basierend auf der Antwort von Gnibbler (20. November 09 um 0:27 Uhr): Diese Klasse fügt dem Dateiobjekt die Methoden head () und tail () hinzu.

class File(file):
    def head(self, lines_2find=1):
        self.seek(0)                            #Rewind file
        return [self.next() for x in xrange(lines_2find)]

    def tail(self, lines_2find=1):  
        self.seek(0, 2)                         #go to end of file
        bytes_in_file = self.tell()             
        lines_found, total_bytes_scanned = 0, 0
        while (lines_2find+1 > lines_found and
               bytes_in_file > total_bytes_scanned): 
            byte_block = min(1024, bytes_in_file-total_bytes_scanned)
            self.seek(-(byte_block+total_bytes_scanned), 2)
            total_bytes_scanned += byte_block
            lines_found += self.read(1024).count('\n')
        self.seek(-total_bytes_scanned, 2)
        line_list = list(self.readlines())
        return line_list[-lines_2find:]

Verwendung:

f = File('path/to/file', 'r')
f.head(3)
f.tail(3)

Die zwei intuitivsten Möglichkeiten hierfür wären:

1. Durchlaufen Sie die Datei Zeile für Zeile und breaknach NZeilen.

2. Durchlaufen Sie die Datei Zeile für Zeile mit den next()Methodenzeiten N. (Dies ist im Wesentlichen nur eine andere Syntax für die Top-Antwort.)

Hier ist der Code:

# Method 1:
with open("fileName", "r") as f:
    counter = 0
    for line in f:
        print line
        counter += 1
        if counter == N: break

# Method 2:
with open("fileName", "r") as f:
    for i in xrange(N):
        line = f.next()
        print line

Unter dem Strich haben Sie viele Optionen , solange Sie nicht die gesamte Datei verwenden readlines()oder enumeratein den Speicher legen.

der bequemste Weg für sich allein:

LINE_COUNT = 3
print [s for (i, s) in enumerate(open('test.txt')) if i < LINE_COUNT]

Lösung basierend auf Listenverständnis Die Funktion open () unterstützt eine Iterationsschnittstelle. Das enumerate () deckt open () ab und gibt Tupel (Index, Element) zurück. Dann überprüfen wir, ob wir uns innerhalb eines akzeptierten Bereichs befinden (wenn i <LINE_COUNT) und drucken dann einfach das Ergebnis.

Genieße den Python. ;)

Für die ersten 5 Zeilen machen Sie einfach:

N=5
with open("data_file", "r") as file:
    for i in range(N):
       print file.next()

Wenn Sie etwas wollen, das offensichtlich (ohne esoterische Inhalte in Handbüchern nachzuschlagen) ohne Importe funktioniert, versuchen Sie es / ausgenommen und arbeiten Sie mit einer Reihe von Python 2.x-Versionen (2.2 bis 2.6):

def headn(file_name, n):
    """Like *x head -N command"""
    result = []
    nlines = 0
    assert n >= 1
    for line in open(file_name):
        result.append(line)
        nlines += 1
        if nlines >= n:
            break
    return result

if __name__ == "__main__":
    import sys
    rval = headn(sys.argv[1], int(sys.argv[2]))
    print rval
    print len(rval)

Wenn Sie eine wirklich große Datei haben und davon ausgehen, dass die Ausgabe ein numpy-Array sein soll, friert die Verwendung von np.genfromtxt Ihren Computer ein. Das ist meiner Erfahrung nach so viel besser:

def load_big_file(fname,maxrows):
'''only works for well-formed text file of space-separated doubles'''

rows = []  # unknown number of lines, so use list

with open(fname) as f:
    j=0        
    for line in f:
        if j==maxrows:
            break
        else:
            line = [float(s) for s in line.split()]
            rows.append(np.array(line, dtype = np.double))
            j+=1
return np.vstack(rows)  # convert list of vectors to array

Ab Python 2.6 können Sie komplexere Funktionen in der IO-Basisklasse nutzen. Die oben am besten bewertete Antwort kann also wie folgt umgeschrieben werden:

    with open("datafile") as myfile:
       head = myfile.readlines(N)
    print head

(Sie müssen sich keine Sorgen machen, dass Ihre Datei weniger als N Zeilen enthält, da keine StopIteration-Ausnahme ausgelöst wird.)

Das hat bei mir funktioniert

f = open("history_export.csv", "r")
line= 5
for x in range(line):
    a = f.readline()
    print(a)

Dies funktioniert für Python 2 & 3:

from itertools import islice

with open('/tmp/filename.txt') as inf:
    for line in islice(inf, N, N+M):
        print(line)

fname = input("Enter file name: ")
num_lines = 0

with open(fname, 'r') as f: #lines count
    for line in f:
        num_lines += 1

num_lines_input = int (input("Enter line numbers: "))

if num_lines_input <= num_lines:
    f = open(fname, "r")
    for x in range(num_lines_input):
        a = f.readline()
        print(a)

else:
    f = open(fname, "r")
    for x in range(num_lines_input):
        a = f.readline()
        print(a)
        print("Don't have", num_lines_input, " lines print as much as you can")


print("Total lines in the text",num_lines)

#!/usr/bin/python

import subprocess

p = subprocess.Popen(["tail", "-n 3", "passlist"], stdout=subprocess.PIPE)

output, err = p.communicate()

print  output

Diese Methode hat bei mir funktioniert