Разбиение файла на каждые 10000 номеров (не строк)

У меня есть файл, который выглядит следующим образом:

chr19   61336212        +       0       0       CG      CGT    
chr19   61336213        -       0       0       CG      CGG    
chr19   61336218        +       0       0       CG      CGG    
chr19   61336219        -       0       0       CG      CGC    
chr19   61336268        +       0       0       CG      CGG    
chr19   61336269        -       0       0       CG      CGA    
chr19   61336402        +       0       0       CG      CGG    
chr19   61336403        -       0       0       CG      CGT    

Я хочу разделить этот файл на каждые 10000 интервалов 2-го поля (НЕ строки, а интервал номера). Таким образом, для этого файла я хотел бы разбить первую строку (строку с 61336212) на строку, которая имеет или до 61346211 (61336212 + 9999), затем с 61346212 до 61356211, и так далее, и так далее. Как видите, цифры во 2-м поле / столбце не «заполнены».

Есть ли способ сделать это?

awk 'NR==1 {n=$2}
     {
       file = sprintf("file.%.4d", ($2-n)/10000)
       if (file != last_file) {
         close(last_file)
         last_file = file
       }
       print > file
     }'

Написали бы , чтобы file.0000, file.0001... (число того , int(($2-n)/10000)где nнаходится $2на первой линии).

Обратите внимание, что мы закрываем файлы, как только прекратим запись в них, в противном случае вы достигнете предела числа одновременно открываемых файлов после нескольких сотен файлов (GNU awkможет обойти это ограничение, но тогда производительность быстро ухудшится).

Мы предполагаем, что эти цифры всегда растут.

Взломать однострочную версию. Возможно, больше подходит для Code Golf, чем этот форум, хотя. Это генерирует split1, split2, split3 и так далее, в качестве имен файлов.

awk '{if($2>b+9999){a++;b=$2}print >"split" a}' file.txt

Чтобы иметь выходные файлы с именами split001, split002, split003, необходимо добавить следующее sprintf:

awk '{if($2>b+9999){a++;b=$2}print >sprintf("split%03d",a)}' file.txt

Чтобы избежать проблемы замедления работы gawk, выявленной @ Stéphane Chazelas, используйте perl:

perl -ne '(undef,$a)=split(/\s+/,$_);if($a>$b+9999){$c++;$b=$a}open(D,sprintf(">>ysplit%03d",$c));print D' <file.txt

#!/bin/bash
first=$( head -n1 file | awk -F" +" '{print $2}' )
last=$( tail -n1 file | awk -F" +" '{print $2}' )
for (( i=$first ; i<=$last ; i=i+10000 )) ; do
   awk -v start=$i -v end=$(($i+10000)) 'BEGIN { FS == " +" } { if ( $2 >= start && $2 < end ) print $0 }' file \
   >> interval_"$i"_to_"$(( $i+10000 ))"
done

Тест с интервалом в 100:

more inter*
::::::::::::::
interval_61336212_to_61346212
::::::::::::::
chr19   61336212        +       0       0       CG      CGT    
chr19   61336213        -       0       0       CG      CGG    
chr19   61336218        +       0       0       CG      CGG    
chr19   61336219        -       0       0       CG      CGC    
chr19   61336268        +       0       0       CG      CGG    
chr19   61336269        -       0       0       CG      CGA    
::::::::::::::
interval_61336312_to_61346312
::::::::::::::
chr19   61336402        +       0       0       CG      CGG    
chr19   61336403        -       0       0       CG      CGT  

Примечание: создаст пустые файлы для пустых интервалов; для удаления пустых файлов добавьте:

for file in interval* ; do
  if [ ! -s "$file" ] ; then
    rm "$file"
  fi
done

Будет выполняться файл для каждого шага в forцикле, поэтому не самый эффективный.

Если вы имеете в виду только расчет, а не подсчет строк:

awk 'NR==1 || n+10000<$2{n=$2; portion++}{print > FILENAME "." portion}' file