Быстрый метод разделения строки из текстового файла?

У меня есть два текстовых файла: string.txt и lengths.txt

String.txt:

abcdefghijklmnopqrstuvwxyz

lengths.txt

5
4
10
7

Я хочу получить файл

>Entry_1
abcde
>Entry_2
fghi
>Entry_3
jklmnopqrs
>Entry_4
tuvwxyz

Я работаю с около 28 000 записей, и они варьируются от 200 до 56 000 символов.

На данный момент я использую:

start=1
end=0
i=0
while read read_l
do
    let i=i+1
    let end=end+read_l
    echo -e ">Entry_$i" >>outfile.txt
    echo "$(cut -c$start-$end String.txt)" >>outfile.txt
    let start=start+read_l
    echo $i
done <lengths.txt

Но это очень неэффективно. Есть идеи получше?

Ты можешь сделать

{
  while read l<&3; do
    {
      head -c"$l"
      echo
    } 3<&-
  done 3<lengths.txt
} <String.txt

Это требует некоторого объяснения:

Основная идея заключается в использовании { head ; } <fileи получена из недооцененного ответа @mikeserv . Однако в этом случае нам нужно использовать много heads, поэтому whileвведен цикл и немного доработаны с файловыми дескрипторами, чтобы перейти к headвходным данным из обоих файлов (файл String.txtв качестве основного файла для обработки и строки из length.txtв качестве аргумента для -cопции) , Идея заключается в том, что выигрыш в скорости должен заключаться в том, что вам не нужно искать String.txtкаждый раз, когда команда headили команда cutвызывается. echoПросто напечатать строку после каждой итерации.

Насколько это быстрее (если есть) и сложение >Entry_iмежду строками оставлено в качестве упражнения.

Как правило, вы не хотите использовать циклы оболочки для обработки текста . Здесь я бы использовал perl:

$ perl -lpe 'read STDIN,$_,$_; print ">Entry_" . ++$n' lengths.txt < string.txt
>Entry_1
abcde
>Entry_2
fghi
>Entry_3
jklmnopqrs
>Entry_4
tuvwxyz

Это одна команда, которая читает (с буферизацией намного более эффективно, чем команда оболочки, readкоторая читает один байт (или несколько байтов для обычных файлов) за раз) оба файла только один раз (без сохранения их в памяти), поэтому будет на несколько порядков эффективнее решений, которые запускают внешние команды в цикле оболочки.

(добавьте -Cопцию, если эти числа должны быть числами символов в текущей локали, а не количеством байтов. Для символов ASCII, как в вашем примере, это не будет иметь никакого значения).

Баш, версия 4

mapfile -t lengths <lengths.txt
string=$(< String.txt)
i=0 
n=0
for len in "${lengths[@]}"; do
    echo ">Entry_$((++n))"
    echo "${string:i:len}"
    ((i+=len))
done

выход

>Entry_1
abcde
>Entry_2
fghi
>Entry_3
jklmnopqrs
>Entry_4
tuvwxyz

Как насчет awk?

Создайте файл process.awkс таким кодом:

function idx(i1, v1, i2, v2)
{
     # numerical index comparison, ascending order
     return (i1 - i2)
}
FNR==NR { a[FNR]=$0; next }
{ i=1;PROCINFO["sorted_in"] = "idx";
        for (j in a) {
                print ">Entry"j;
                ms=substr($0, i,a[j])
                print ms
                i=i+length(ms)
        }
}

Сохраните его и выполните awk -f process.awk lengths.txt string.txt