Wie kann ich die Zeilen in einer Datei mit Standardtools unter Red Hat Linux zufällig sortieren?

Wie kann ich die Zeilen in einer Datei mit Standardtools unter Red Hat Linux zufällig sortieren?

Ich habe den shufBefehl nicht, also suche ich nach etwas wie einem perloder awkeinem Einzeiler, der die gleiche Aufgabe erfüllt.

Und einen Perl-Einzeiler bekommen Sie!

perl -MList::Util -e 'print List::Util::shuffle <>'

Es wird ein Modul verwendet, das Modul ist jedoch Teil der Perl-Codeverteilung. Wenn das nicht gut genug ist, können Sie erwägen, Ihre eigenen zu rollen.

Ich habe versucht, dies mit dem -iFlag ("Edit-in-Place") zu verwenden, damit die Datei bearbeitet wird. Die Dokumentation schlägt vor, dass es funktionieren sollte, aber es funktioniert nicht. Die gemischte Datei wird weiterhin in stdout angezeigt, diesmal wird jedoch das Original gelöscht. Ich schlage vor, Sie verwenden es nicht.

Betrachten Sie ein Shell-Skript:

#!/bin/sh

if [[ $# -eq 0 ]]
then
  echo "Usage: $0 [file ...]"
  exit 1
fi

for i in "$@"
do
  perl -MList::Util -e 'print List::Util::shuffle <>' $i > $i.new
  if [[ `wc -c $i` -eq `wc -c $i.new` ]]
  then
    mv $i.new $i
  else
    echo "Error for file $i!"
  fi
done

Ungetestet, funktioniert aber hoffentlich.

Ähm, vergessen wir nicht

sort --random-sort

shuf ist der beste Weg.

sort -Rist schmerzhaft langsam. Ich habe gerade versucht, 5 GB Datei zu sortieren. Ich gab nach 2,5 Stunden auf. Dann shufsortierte es in einer Minute.

cat yourfile.txt | while IFS= read -r f; do printf "%05d %s\n" "$RANDOM" "$f"; done | sort -n | cut -c7-

Lesen Sie die Datei, stellen Sie jeder Zeile eine Zufallszahl voran, sortieren Sie die Datei nach diesen zufälligen Präfixen und schneiden Sie die Präfixe anschließend aus. Einzeiler, der in jeder halbmodernen Schale funktionieren sollte.

EDIT: Richard Hansens Bemerkungen aufgenommen.

Ein Einzeiler für Python:

python -c "import random, sys; lines = open(sys.argv[1]).readlines(); random.shuffle(lines); print ''.join(lines)," myFile

Und zum Drucken nur einer einzigen zufälligen Zeile:

python -c "import random, sys; print random.choice(open(sys.argv[1]).readlines())," myFile

Aber siehe diesen Beitrag für die Nachteile von Python random.shuffle(). Es funktioniert nicht gut mit vielen (mehr als 2080) Elementen.

Bezogen auf Jims Antwort:

Mein ~/.bashrcenthält Folgendes:

unsort ()
{
    LC_ALL=C sort -R "$@"
}

Mit GNU coreutils 'sort, -R= --random-sort, das einen zufälligen Hash jeder Zeile generiert und danach sortiert. Der randomisierte Hash würde in einigen Gebietsschemas in einigen älteren (fehlerhaften) Versionen nicht verwendet, was dazu führt, dass er eine normal sortierte Ausgabe zurückgibt, weshalb ich ihn festgelegt habe LC_ALL=C.

Bezogen auf Chris 'Antwort:

perl -MList::Util=shuffle -e'print shuffle<>'

ist ein etwas kürzerer Einzeiler. ( -Mmodule=a,b,cist eine Abkürzung für-e 'use module qw(a b c);' .)

Der Grund dafür, dass das einfache -iMischen nicht funktioniert, ist, dass Perl erwartet, dass printdies in derselben Schleife geschieht, in der die Datei gelesen wird, undprint shuffle <> erst ausgegeben wird, nachdem alle Eingabedateien gelesen und geschlossen wurden.

Als kürzere Problemumgehung

perl -MList::Util=shuffle -i -ne'BEGIN{undef$/}print shuffle split/^/m'

mischt Dateien an Ort und Stelle. ( -nbedeutet "den Code in eine while (<>) {...}Schleife einschließen; BEGIN{undef$/}lässt Perl Dateien einzeln anstatt zeilenweise bearbeiten und split/^/mwird benötigt, weil $_=<>implizit mit einer gesamten Datei anstelle von Zeilen gearbeitet wurde.)

Wenn ich Coreutils mit Homebrew installiere

brew install coreutils

shufwird verfügbar als n.

Mac OS X mit DarwinPorts:

sudo port install unsort
cat $file | unsort | ...

FreeBSD hat ein eigenes zufälliges Dienstprogramm:

cat $file | random | ...

Es befindet sich in / usr / games / random. Wenn Sie also keine Spiele installiert haben, haben Sie kein Glück.

Sie können Ports wie textproc / rand oder textproc / msort installieren. Diese sind möglicherweise unter Linux und / oder Mac OS X verfügbar, wenn die Portabilität ein Problem darstellt.

Unter OSX das Neueste von http://ftp.gnu.org/gnu/coreutils/ und so ähnlich

./configure make sudo make install

... sollte Ihnen / usr / local / bin / sort --random-sort geben

ohne / usr / bin / sort durcheinander zu bringen

Oder erhalten Sie es von MacPorts:

$ sudo port install coreutils

und / oder

$ /opt/local//libexec/gnubin/sort --random-sort