Вопросы с тегом «gnu-parallel»

Я пытался распараллелить следующий скрипт, в частности, каждый из трех экземпляров цикла FOR, используя GNU Parallel, но не смог. Четыре команды, содержащиеся в цикле FOR, выполняются последовательно, каждый цикл занимает около 10 минут. #!/bin/bash kar='KAR5' runList='run2 run3 run4' mkdir normFunc for run in $runList do fsl5.0-flirt -in $kar"deformed.nii.gz" -ref normtemp.nii.gz …

109 shell-script  gnu-parallel 

Я смущен разницей или преимуществом (если есть) запуска набора задач в .shскрипте с использованиемGNU parallel Например, ответ Оле Танге : parallel ./pngout -s0 {} R{} ::: *.png вместо того, чтобы повторять их в фоновом режиме &. Например, ответ frostschutz : #copied from the link for illustration for stuff in things …

40 shell-script  background-process  xargs  gnu-parallel 

Я использую rsyncскрипт для синхронизации данных на одном хосте с данными на другом хосте. Данные содержат множество небольших файлов, размер которых составляет почти 1,2 ТБ. Для синхронизации этих файлов я использовал rsyncкоманду следующим образом: rsync -avzm --stats --human-readable --include-from proj.lst /data/projects REMOTEHOST:/data/ Содержимое proj.lst выглядит следующим образом: + proj1 + …

18 linux  rhel  rsync  gnu-parallel 

У меня проблема со сценариями оболочки, когда у меня есть каталог, полный входных файлов (каждый файл содержит много входных строк), и мне нужно обрабатывать их индивидуально, перенаправляя каждый из их выходных данных в уникальный файл (иначе, file_1.input needs). быть захваченным в file_1.output и т. д.). Предварительно , я бы просто …

18 scripting  parallelism  gnu-parallel 

В более крупном сценарии для последующей обработки некоторых данных моделирования у меня была следующая строка: parallel bnzip2 -- *.bz2 Который, если я parallelправильно понимаю (а могу и нет), должен запускать н-ядерные потоки программы над всеми файлами с указанным расширением. Вы можете заметить, что я неправильно написал команду bunzip2. Я ожидал …

15 gnu-parallel  moreutils-parallel 

Итак, у меня есть цикл while: cat live_hosts | while read host; do \ sortstuff.sh -a "$host" > sortedstuff-"$host"; done Но это может занять много времени. Как бы я использовал GNU Parallel для этого цикла while?

12 shell-script  files  gnu-parallel 

% echo -e '1\n2' | parallel "bash -c 'echo :\$1' '' {}" :1 :2 % echo -e '1\n2' | parallel bash -c 'echo :\$1' '' {} % Я ожидаю, что вторая строка будет действовать так же.

9 bash  shell  quoting  gnu-parallel 

Я загружаю довольно гигантский файл в базу данных postgresql. Для этого я сначала использую splitфайл, чтобы получить файлы меньшего размера (30 ГБ каждый), а затем загружаю каждый файл меньшего размера в базу данных, используя GNU Parallelи psql copy. Проблема в том, что для разделения файла требуется около 7 часов, а …

9 files  split  gnu-parallel 

Предположим, я хочу найти все совпадения в сжатом текстовом файле: $ gzcat file.txt.gz | pv --rate -i 5 | grep some-pattern pv --rateиспользуется здесь для измерения пропускной способности трубы. На моей машине это около 420Mb / s (после распаковки). Сейчас я пытаюсь сделать параллельный grep, используя GNU параллельно. $ gzcat …

8 shell  gnu-parallel 

Я хотел бы использовать функцию параллельного запуска GNU, где он может выполнять команду и список, в который она подается параллельно, и выплевывать его после того, как все будет сделано, однако я не хочу устанавливать параллельный GNU на всех наших серверах. Или, возможно, параллельная версия xargs? Есть ли ksh-реализация того, что …

8 ksh  gnu  parallelism  gnu-parallel