Вопросы с тегом «gnu-parallel»

10
Распараллелить Bash FOR Loop
Я пытался распараллелить следующий скрипт, в частности, каждый из трех экземпляров цикла FOR, используя GNU Parallel, но не смог. Четыре команды, содержащиеся в цикле FOR, выполняются последовательно, каждый цикл занимает около 10 минут. #!/bin/bash kar='KAR5' runList='run2 run3 run4' mkdir normFunc for run in $runList do fsl5.0-flirt -in $kar"deformed.nii.gz" -ref normtemp.nii.gz …

1
GNU параллельно против & (я имею в виду фон) против xargs -P
Я смущен разницей или преимуществом (если есть) запуска набора задач в .shскрипте с использованиемGNU parallel Например, ответ Оле Танге : parallel ./pngout -s0 {} R{} ::: *.png вместо того, чтобы повторять их в фоновом режиме &. Например, ответ frostschutz : #copied from the link for illustration for stuff in things …

6
Параллелизировать rsync с помощью GNU Parallel
Я использую rsyncскрипт для синхронизации данных на одном хосте с данными на другом хосте. Данные содержат множество небольших файлов, размер которых составляет почти 1,2 ТБ. Для синхронизации этих файлов я использовал rsyncкоманду следующим образом: rsync -avzm --stats --human-readable --include-from proj.lst /data/projects REMOTEHOST:/data/ Содержимое proj.lst выглядит следующим образом: + proj1 + …

6
используя параллель для обработки уникальных входных файлов в уникальные выходные файлы
У меня проблема со сценариями оболочки, когда у меня есть каталог, полный входных файлов (каждый файл содержит много входных строк), и мне нужно обрабатывать их индивидуально, перенаправляя каждый из их выходных данных в уникальный файл (иначе, file_1.input needs). быть захваченным в file_1.output и т. д.). Предварительно , я бы просто …

2
Почему (GNU?) Параллельный сбой молча, и как я могу это исправить?
В более крупном сценарии для последующей обработки некоторых данных моделирования у меня была следующая строка: parallel bnzip2 -- *.bz2 Который, если я parallelправильно понимаю (а могу и нет), должен запускать н-ядерные потоки программы над всеми файлами с указанным расширением. Вы можете заметить, что я неправильно написал команду bunzip2. Я ожидал …



4
Использование GNU Parallel с Split
Я загружаю довольно гигантский файл в базу данных postgresql. Для этого я сначала использую splitфайл, чтобы получить файлы меньшего размера (30 ГБ каждый), а затем загружаю каждый файл меньшего размера в базу данных, используя GNU Parallelи psql copy. Проблема в том, что для разделения файла требуется около 7 часов, а …

3
Как эффективно использовать GNU параллельно
Предположим, я хочу найти все совпадения в сжатом текстовом файле: $ gzcat file.txt.gz | pv --rate -i 5 | grep some-pattern pv --rateиспользуется здесь для измерения пропускной способности трубы. На моей машине это около 420Mb / s (после распаковки). Сейчас я пытаюсь сделать параллельный grep, используя GNU параллельно. $ gzcat …

2
GNU Parallel для бедняков реализована в ksh?
Я хотел бы использовать функцию параллельного запуска GNU, где он может выполнять команду и список, в который она подается параллельно, и выплевывать его после того, как все будет сделано, однако я не хочу устанавливать параллельный GNU на всех наших серверах. Или, возможно, параллельная версия xargs? Есть ли ksh-реализация того, что …
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.