Was ist eine einfache Möglichkeit, zufällige Zeilen aus einer Datei in der Unix-Befehlszeile zu lesen?

Was ist eine einfache Möglichkeit, zufällige Zeilen aus einer Datei in der Unix-Befehlszeile zu lesen?

Sie können verwenden shuf:

shuf -n 1 $FILE

Es gibt auch ein Dienstprogramm namens rl. In Debian ist es im randomize-linesPaket enthalten, das genau das tut, was Sie wollen, obwohl es nicht in allen Distributionen verfügbar ist. Auf seiner Homepage empfiehlt es tatsächlich die Verwendung von shufstattdessen (was meiner Meinung nach nicht existierte, als es erstellt wurde). shufist Teil der GNU Coreutils, rlnicht.

rl -c 1 $FILE

Eine andere Alternative:

head -$((${RANDOM} % `wc -l < file` + 1)) file | tail -1

sort --random-sort $FILE | head -n 1

(Ich mag den Shuf-Ansatz oben noch besser - ich wusste nicht einmal, dass es ihn gibt und ich hätte dieses Tool alleine nie gefunden)

Das ist einfach.

cat file.txt | shuf -n 1

Zugegeben, dies ist nur ein bisschen langsamer als die "shuf -n 1 file.txt" für sich.

perlfaq5: Wie wähle ich eine zufällige Zeile aus einer Datei aus? Hier ist ein Reservoir-Sampling-Algorithmus aus dem Camel Book:

perl -e 'srand; rand($.) < 1 && ($line = $_) while <>; print $line;' file

Dies hat einen erheblichen räumlichen Vorteil gegenüber dem Einlesen der gesamten Datei. Einen Beweis für diese Methode finden Sie in The Art of Computer Programming, Band 2, Abschnitt 3.4.2, von Donald E. Knuth.

Verwenden eines Bash-Skripts:

#!/bin/bash
# replace with file to read
FILE=tmp.txt
# count number of lines
NUM=$(wc - l < ${FILE})
# generate random number in range 0-NUM
let X=${RANDOM} % ${NUM} + 1
# extract X-th line
sed -n ${X}p ${FILE}

Einzelne Bash-Linie:

sed -n $((1+$RANDOM%`wc -l test.txt | cut -f 1 -d ' '`))p test.txt

Leichtes Problem: doppelter Dateiname.

Hier ist ein einfaches Python-Skript, das die Arbeit erledigt:

import random, sys
lines = open(sys.argv[1]).readlines()
print(lines[random.randrange(len(lines))])

Verwendungszweck:

python randline.py file_to_get_random_line_from

Ein anderer Weg mit ' awk '

awk NR==$((${RANDOM} % `wc -l < file.name` + 1)) file.name

Eine Lösung, die auch unter MacOSX funktioniert und auch unter Linux (?) Funktionieren sollte:

N=5
awk 'NR==FNR {lineN[$1]; next}(FNR in lineN)' <(jot -r $N 1 $(wc -l < $file)) $file 

Wo:

• N ist die Anzahl der gewünschten zufälligen Zeilen

• NR==FNR {lineN[$1]; next}(FNR in lineN) file1 file2 -> Speichern Sie die eingegebenen Zeilennummern file1und drucken Sie die entsprechende Zeile einfile2

• jot -r $N 1 $(wc -l < $file)-> NZahlen zufällig ( -r) im Bereich (1, number_of_line_in_file)mit zeichnen jot. Durch die Prozessersetzung <()sieht es wie eine Datei für den Interpreter aus, also file1im vorherigen Beispiel.

#!/bin/bash

IFS=$'\n' wordsArray=($(<$1))

numWords=${#wordsArray[@]}
sizeOfNumWords=${#numWords}

while [ True ]
do
    for ((i=0; i<$sizeOfNumWords; i++))
    do
        let ranNumArray[$i]=$(( ( $RANDOM % 10 )  + 1 ))-1
        ranNumStr="$ranNumStr${ranNumArray[$i]}"
    done
    if [ $ranNumStr -le $numWords ]
    then
        break
    fi
    ranNumStr=""
done

noLeadZeroStr=$((10#$ranNumStr))
echo ${wordsArray[$noLeadZeroStr]}

Folgendes entdecke ich, da mein Mac OS nicht alle einfachen Antworten verwendet. Ich habe den Befehl jot verwendet, um eine Zahl zu generieren, da die variablen Lösungen von $ RANDOM in meinem Test nicht sehr zufällig zu sein scheinen. Beim Testen meiner Lösung gab es große Unterschiede bei den in der Ausgabe angegebenen Lösungen.

  RANDOM1=`jot -r 1 1 235886`
   #range of jot ( 1 235886 ) found from earlier wc -w /usr/share/dict/web2
   echo $RANDOM1
   head -n $RANDOM1 /usr/share/dict/web2 | tail -n 1

Das Echo der Variablen dient dazu, eine visuelle Darstellung der generierten Zufallszahl zu erhalten.

Wenn Sie nur Vanille sed und awk verwenden und $ RANDOM nicht verwenden, ist ein einfacher, platzsparender und relativ schneller "Einzeiler" zum Auswählen einer einzelnen Zeile pseudozufällig aus einer Datei mit dem Namen FILENAME wie folgt:

sed -n $(awk 'END {srand(); r=rand()*NR; if (r<NR) {sub(/\..*/,"",r); r++;}; print r}' FILENAME)p FILENAME

(Dies funktioniert auch, wenn FILENAME leer ist. In diesem Fall wird keine Zeile ausgegeben.)

Ein möglicher Vorteil dieses Ansatzes besteht darin, dass rand () nur einmal aufgerufen wird.

Wie von @AdamKatz in den Kommentaren hervorgehoben, besteht eine andere Möglichkeit darin, rand () für jede Zeile aufzurufen:

awk 'rand() * NR < 1 { line = $0 } END { print line }' FILENAME

(Ein einfacher Korrektheitsnachweis kann auf der Grundlage der Induktion erbracht werden.)

Vorbehalt über rand()

"In den meisten awk-Implementierungen, einschließlich gawk, generiert rand () jedes Mal, wenn Sie awk ausführen, Zahlen aus derselben Startnummer oder demselben Startwert."

- https://www.gnu.org/software/gawk/manual/html_node/Numeric-Functions.html