Aufteilen der Datei für jeweils 10000 Zahlen (keine Zeilen)

Ich habe eine Datei, die wie folgt aussieht:

chr19   61336212        +       0       0       CG      CGT    
chr19   61336213        -       0       0       CG      CGG    
chr19   61336218        +       0       0       CG      CGG    
chr19   61336219        -       0       0       CG      CGC    
chr19   61336268        +       0       0       CG      CGG    
chr19   61336269        -       0       0       CG      CGA    
chr19   61336402        +       0       0       CG      CGG    
chr19   61336403        -       0       0       CG      CGT    

Ich möchte diese Datei für jedes 10000-Intervall des 2. Feldes aufteilen (NICHT Zeilen, sondern Zahlenintervall). Für diese Datei möchte ich also von der ersten Zeile (der Zeile mit 61336212) in die Zeile mit oder bis 61346211 (61336212 + 9999), dann von 61346212 bis 61356211 usw. aufteilen. Wie Sie sehen können, sind die Zahlen im 2. Feld / in der 2. Spalte nicht "gefüllt".

Gibt es eine Möglichkeit, dies zu tun?

awk 'NR==1 {n=$2}
     {
       file = sprintf("file.%.4d", ($2-n)/10000)
       if (file != last_file) {
         close(last_file)
         last_file = file
       }
       print > file
     }'

Würde schreiben an file.0000, file.0001... (die Nummer ist int(($2-n)/10000)wo nist $2für die erste Zeile).

Beachten Sie, dass wir Dateien schließen, sobald wir aufgehört haben, in sie zu schreiben, da Sie sonst die Grenze für die Anzahl gleichzeitig geöffneter Dateien nach einigen hundert Dateien erreichen würden (GNU awkkann diese Grenze umgehen, aber dann verschlechtern sich die Leistungen schnell).

Wir gehen davon aus, dass diese Zahlen immer steigen.

Hack Einzeiler Version. Vielleicht besser für Code Golf geeignet als dieses Forum. Dadurch werden split1, split2, split3 usw. als Dateinamen generiert.

awk '{if($2>b+9999){a++;b=$2}print >"split" a}' file.txt

Um Ausgabedateien mit den Namen split001, split002, split003 zu erhalten, ist Folgendes erforderlich sprintf:

awk '{if($2>b+9999){a++;b=$2}print >sprintf("split%03d",a)}' file.txt

Verwenden Sie Perl, um das von @ Stéphane Chazelas identifizierte Problem der Gawk-Verlangsamung zu vermeiden:

perl -ne '(undef,$a)=split(/\s+/,$_);if($a>$b+9999){$c++;$b=$a}open(D,sprintf(">>ysplit%03d",$c));print D' <file.txt

#!/bin/bash
first=$( head -n1 file | awk -F" +" '{print $2}' )
last=$( tail -n1 file | awk -F" +" '{print $2}' )
for (( i=$first ; i<=$last ; i=i+10000 )) ; do
   awk -v start=$i -v end=$(($i+10000)) 'BEGIN { FS == " +" } { if ( $2 >= start && $2 < end ) print $0 }' file \
   >> interval_"$i"_to_"$(( $i+10000 ))"
done

Test mit auf 100 eingestelltem Intervall:

more inter*
::::::::::::::
interval_61336212_to_61346212
::::::::::::::
chr19   61336212        +       0       0       CG      CGT    
chr19   61336213        -       0       0       CG      CGG    
chr19   61336218        +       0       0       CG      CGG    
chr19   61336219        -       0       0       CG      CGC    
chr19   61336268        +       0       0       CG      CGG    
chr19   61336269        -       0       0       CG      CGA    
::::::::::::::
interval_61336312_to_61346312
::::::::::::::
chr19   61336402        +       0       0       CG      CGG    
chr19   61336403        -       0       0       CG      CGT  

Hinweis: Erzeugt leere Dateien für leere Intervalle. Fügen Sie zum Entfernen leerer Dateien Folgendes hinzu:

for file in interval* ; do
  if [ ! -s "$file" ] ; then
    rm "$file"
  fi
done

Läuft die Datei für jeden Schritt in der forSchleife über, daher nicht die effizienteste.

Wenn Sie nur Berechnung, nicht Zeilenzählung meinen:

awk 'NR==1 || n+10000<$2{n=$2; portion++}{print > FILENAME "." portion}' file