Als «large-files» getaggte Fragen

6
Katze Linie X bis Linie Y auf einer riesigen Datei
Angenommen, ich habe eine große Textdatei (> 2 GB) und möchte nur catdie Zeilen Xan Y(z. B. 57890000 bis 57890010). Soweit ich weiß, kann ich dies durch Piping headin tailoder umgekehrt tun, d. H head -A /path/to/file | tail -B oder alternativ tail -C /path/to/file | head -D wobei A, …
132 tail  cat  large-files  head 
14
Ersetzen Sie die Zeichenfolge in einer riesigen (70 GB), einzeiligen Textdatei
Ich habe eine riesige (70 GB), einzeilige Textdatei und möchte eine Zeichenfolge (Token) ersetzen. Ich möchte das Token <unk>durch ein anderes Dummy-Token ersetzen ( Handschuhproblem ). Ich habe versucht sed: sed 's/<unk>/<raw_unk>/g' < corpus.txt > corpus.txt.new aber die ausgabedatei corpus.txt.newhat null bytes! Ich habe auch versucht mit Perl: perl -pe …
9
Wie entferne ich doppelte Zeilen in einer Textdatei?
Eine riesige (bis zu 2 GiB) Textdatei von mir enthält ungefähr 100 exakte Duplikate jeder Zeile (in meinem Fall nutzlos, da die Datei eine CSV-ähnliche Datentabelle ist). Was ich brauche, ist, alle Wiederholungen zu entfernen, während (vorzugsweise, aber dies kann für einen signifikanten Leistungsschub geopfert werden) die ursprüngliche Sequenzreihenfolge beibehalten. …
3
Übertragen großer Dateien (8 GB) über ssh
Ich habe es mit SCP versucht, aber es steht "Negative Dateigröße". >scp matlab.iso xxx@xxx:/matlab.iso matlab.iso: Negative file size Auch versucht mit SFTP, funktionierte gut, bis 2 GB der Datei übertragen worden waren, dann gestoppt: sftp> put matlab.iso Uploading matlab.iso to /home/x/matlab.iso matlab.iso -298% 2021MB -16651.-8KB/s 00:5d o_upload: offset < 0 …
27 scp  sftp  large-files 
2
Warum sind diese Dateien in einem ext4-Volume fragmentiert?
Ich habe eine 900-GB- ext4Partition auf einer (magnetischen) Festplatte, die keine Defekte und keine fehlerhaften Sektoren aufweist. Die Partition ist bis auf ein leeres lost+foundVerzeichnis vollständig leer . Die Partition wurde mit Standardparametern formatiert, mit der Ausnahme, dass ich die Anzahl der reservierten Dateisystemblöcke auf 1% festgelegt habe. Ich habe …
1
Anzahl der Dateien pro Verzeichnis
Ich habe ein Verzeichnis mit ca. 100000 kleinen Dateien (jede Datei besteht aus 1-3 Zeilen, jede Datei ist eine Textdatei). In der Größe ist das Verzeichnis nicht sehr groß (<2 GB). Diese Daten befinden sich auf einem professionell verwalteten NFS-Server. Auf dem Server läuft Linux. Ich denke, das Dateisystem ist …
2
LargeFile-Funktion zum Erstellen von Dateisystemen
Ist es sinnvoll, das Flag -T largefile zu verwenden, um ein Dateisystem für eine Partition mit großen Dateien wie Video und Audio im Flac-Format zu erstellen? Ich habe die gleiche Partition mit diesem Flag und ohne getestet und mit tune2fs -l [Partition] "Dateisystemfunktionen" eingecheckt, für die beide die Option "Große_Datei" …
2
Grundlegender Befehl sed für große einzeilige Datei: Speicher konnte nicht neu zugeordnet werden
Ich habe eine 250 MB Textdatei, alles in einer Zeile. In dieser Datei möchte ich aZeichen durch bZeichen ersetzen : sed -e "s/a/b/g" < one-line-250-mb.txt Es schlägt fehl mit: sed: couldn't re-allocate memory Es scheint mir, dass diese Art von Aufgabe inline ausgeführt werden könnte, ohne viel Speicher zuzuweisen. Gibt …
1
Anzeigen eines großen Bildes unter Linux
Ich muss ein großes (50000x40000 px) PNG-Image unter Linux anzeigen. Leider stürzen die meisten Tools (EOG, Konvertieren usw.) entweder ab oder versagen mit Hinweis auf zu wenig Speicher. Gibt es eine Möglichkeit, dieses Bild anzuzeigen (ich würde es vorziehen, sowohl das Bild in der Größe als auch die Details zu …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.