Zufälliges Abtasten einer Teilmenge einer Datei

Gibt es einen Linux-Befehl, mit dem eine Teilmenge einer Datei abgetastet werden kann? Eine Datei enthält beispielsweise eine Million Zeilen, und wir möchten nur eintausend Zeilen aus dieser Datei zufällig auswählen.

Für zufällig meine ich, dass jede Zeile die gleiche Wahrscheinlichkeit hat, ausgewählt zu werden und keine der ausgewählten Zeilen sich wiederholt.

headund tailkann eine Teilmenge der Datei aber nicht zufällig auswählen. Ich weiß, dass ich dazu immer ein Python-Skript schreiben kann, aber ich frage mich, ob es einen Befehl für diese Verwendung gibt.

Der shufBefehl (Teil von coreutils) kann dies tun:

shuf -n 1000 file

Zumindest für nicht-alte Versionen (hinzugefügt in einem Commit von 2013 ), die bei Bedarf eine Reservoir-Abtastung verwenden, was bedeutet, dass der Speicher nicht knapp werden sollte und ein schneller Algorithmus verwendet wird.

Wenn Sie eine sehr große Datei haben (was ein häufiger Grund ist, ein Beispiel zu nehmen), werden Sie feststellen, dass:

1. shuf erschöpft den Speicher
2. Die Verwendung $RANDOMfunktioniert nicht richtig, wenn die Datei mehr als 32767 Zeilen enthält

Wenn Sie nicht "genau" n abgetastete Linien benötigen, können Sie ein Verhältnis wie das folgende abtasten:

cat input.txt | awk 'BEGIN {srand()} !/^$/ { if (rand() <= .01) print $0}' > sample.txt

Dies verwendet konstanten Speicher , tastet 1% der Datei ab (wenn Sie die Anzahl der Zeilen der Datei kennen, können Sie diesen Faktor anpassen, um eine begrenzte Anzahl von Zeilen abzutasten) und funktioniert mit jeder Dateigröße, dies wird jedoch nicht der Fall sein Rückgabe eines genauen Anzahl von Zeilen zurück, nur ein statistisches Verhältnis.

Hinweis: Der Code stammt von: https://stackoverflow.com/questions/692312/randomly-pick-lines-from-a-file-with-slurping-it-with-unix

Ähnlich wie bei der probabilistischen Lösung von @ Txangel, jedoch fast 100x schneller.

perl -ne 'print if (rand() < .01)' huge_file.csv > sample.csv

Wenn Sie eine hohe Leistung und eine genaue Stichprobengröße benötigen und gerne mit einer Stichprobenlücke am Ende der Datei leben, können Sie wie folgt vorgehen (Beispiel: 1000 Zeilen aus einer 1-Meter-Datei):

perl -ne 'print if (rand() < .0012)' huge_file.csv | head -1000 > sample.csv

.. oder in der Tat eine zweite Beispielmethode anstelle von verketten head.

Wenn der shuf -nTrick bei großen Dateien zu wenig Speicher hat und Sie immer noch ein Beispiel mit fester Größe benötigen und ein externes Dienstprogramm installiert werden kann, versuchen Sie es mit sample :

$ sample -N 1000 < FILE_WITH_MILLIONS_OF_LINES 

Die Einschränkung ist, dass die Probe (1000 Zeilen im Beispiel) in den Speicher passen muss.

Haftungsausschluss: Ich bin der Autor der empfohlenen Software.

Ich kenne keinen einzelnen Befehl, der das tun könnte, was Sie verlangen, aber hier ist eine Schleife, die ich zusammengestellt habe, um den Job zu erledigen:

for i in `seq 1000`; do sed -n `echo $RANDOM % 1000000 | bc`p alargefile.txt; done > sample.txt

sedwird bei jedem der 1000 Durchgänge eine zufällige Linie aufnehmen. Möglicherweise gibt es effizientere Lösungen.

Sie können den folgenden Code in einer Datei speichern (zum Beispiel randextract.sh) und ausführen als:

randextract.sh file.txt

---- DATEI ANFANGEN ----

#!/bin/sh -xv

#configuration MAX_LINES is the number of lines to extract
MAX_LINES=10

#number of lines in the file (is a limit)
NUM_LINES=`wc -l $1 | cut -d' ' -f1`

#generate a random number
#in bash the variable $RANDOM returns diferent values on each call
if [ "$RANDOM." != "$RANDOM." ]
then
    #bigger number (0 to 3276732767)
    RAND=$RANDOM$RANDOM
else
    RAND=`date +'%s'`
fi 

#The start line
START_LINE=`expr $RAND % '(' $NUM_LINES - $MAX_LINES ')'`

tail -n +$START_LINE $1 | head -n $MAX_LINES

---- END FILE ----

Wenn Sie die Anzahl der Zeilen in der Datei kennen (wie 1e6 in Ihrem Fall), können Sie Folgendes tun:

awk -v n=1e6 -v p=1000 '
  BEGIN {srand()}
  rand() * n-- < p {p--; print}' < file

Wenn nicht, können Sie immer tun

awk -v n="$(wc -l < file)" -v p=1000 '
  BEGIN {srand()}
  rand() * n-- < p {p--; print}' < file

Das würde zwei Durchgänge in der Datei machen, aber immer noch vermeiden, die gesamte Datei im Speicher zu speichern.

Ein weiterer Vorteil gegenüber GNU shuf ist, dass die Reihenfolge der Zeilen in der Datei beibehalten wird.

Beachten Sie, dass davon ausgegangen n wird, wie viele Zeilen die Datei enthält. Wenn Sie paus den ersten n Zeilen der Datei (die möglicherweise mehr Zeilen enthält) drucken möchten , müssen Sie awkan der n^th- Zeile wie folgt anhalten :

awk -v n=1e6 -v p=1000 '
  BEGIN {srand()}
  rand() * n-- < p {p--; print}
  !n {exit}' < file

Ich verwende awk gerne, wenn ich eine Kopfzeile beibehalten möchte und wenn das Beispiel ein ungefährer Prozentsatz der Datei sein kann. Funktioniert für sehr große Dateien:

awk 'BEGIN {srand()} !/^$/ { if (rand() <= .01 || FNR==1) print > "data-sample.txt"}' data.txt

Oder so:

LINES=$(wc -l < file)  
RANDLINE=$[ $RANDOM % $LINES ]  
tail -n $RANDLINE  < file|head -1  

Von der Bash-Manpage:

        RANDOM Jedes Mal, wenn auf diesen Parameter verwiesen wird, eine zufällige Ganzzahl
              zwischen 0 und 32767 wird generiert. Die zufällige Reihenfolge
              Nummern können durch Zuweisen eines Wertes zu RAN initialisiert werden
              DOM. Wenn RANDOM nicht gesetzt ist, verliert es seine
              auch wenn es später zurückgesetzt wird.

Wenn die Dateigröße nicht sehr groß ist, können Sie die Option Zufällig sortieren verwenden. Das dauert etwas länger als shuf, aber es ordnet die gesamten Daten nach dem Zufallsprinzip. Sie können also ganz einfach Folgendes tun, um head wie gewünscht zu verwenden:

sort -R input | head -1000 > output

Dies würde die Datei nach dem Zufallsprinzip sortieren und Ihnen die ersten 1000 Zeilen geben.

Wie in der akzeptierten Antwort erwähnt, shufunterstützt GNU shuf -nziemlich gut einfache Zufallsstichproben ( ). Wenn Stichprobenmethoden shuferforderlich sind, die über die von unterstützten Methoden hinausgehen , ziehen Sie tsv-sample von eBay TSV Utilities in Betracht . Es werden mehrere zusätzliche Stichprobenmodi unterstützt, einschließlich gewichteter Zufallsstichproben, Bernoulli-Stichproben und eindeutiger Stichproben. Die Leistung ist ähnlich wie bei GNU shuf(beide sind recht schnell). Haftungsausschluss: Ich bin der Autor.