Вопросы с тегом «parallelism»

Предположим, у меня есть два ресурса с именами 0и 1, к которым можно получить доступ только исключительно. Есть ли способ восстановить «индекс» «параллельного процессора», который xargsзапускается, чтобы использовать его в качестве бесплатного сервиса взаимного исключения? Например, рассмотрим следующие параллельные вычисления: $ echo {1..8} | xargs -d " " -P 2 …

14 xargs  parallelism 

У меня есть задача, которая обрабатывает список файлов на стандартный ввод. Время запуска программы является значительным, и количество времени, которое занимает каждый файл, варьируется в широких пределах. Я хочу порождать значительное количество этих процессов, а затем отправлять работу тем, кто не занят. Есть несколько различных инструментов командной строки, которые почти …

13 xargs  split  parallelism 

У меня есть три вида данных в разных форматах; для каждого типа данных существует скрипт Python, который преобразует его в единый унифицированный формат. Этот сценарий Python является медленным и привязанным к процессору (к одному ядру на многоядерном компьютере), поэтому я хочу запустить три его экземпляра - по одному для каждого …

10 text-processing  pipe  split  parallelism 

Я знаю, что в командной строке я могу использовать &команду в фоновом режиме. Но мне интересно, смогу ли я сделать это в сценарии. У меня есть такой скрипт: date_stamp=$(date +"%Y-%m-%d" --date='yesterday') shopt -s extglob cd /my/working/directory/ sh ./stay/get_it_ios.sh sh ./stay/get_it_mix.sh cd stay zip ../stay_$date_stamp.zip ./*201* rm ./stay/!(*py|*sh) И я хочу …

10 bash  background-process  parallelism 

В настоящее время у меня проблемы с ddвызовом разреженного файла в качестве input ( if) и файла в качестве output ( of) с conv=sparse. ddпохоже, что используется только одно ядро ​​ЦП ( Intel(R) Core(TM) i7-3632QM CPU @ 2.20GHz4 ядра + 4 Intel Hyperthreads) (100% от 1 ядра), поэтому мне было …

10 linux  dd  parallelism 

Мне нужно выполнить тесты производительности для моей параллельной программы, и мое требование состоит в том, чтобы она работала только на одном ядре процессора. (Я не хочу сотрудничать с потоками - я хочу всегда переключать контекст). Итак, у меня есть два вопроса: Лучшее решение - Как подписать и зарезервировать только одно …

9 linux  cpu  parallelism 

Я использую xargsдля вызова сценария Python для обработки около 30 миллионов небольших файлов. Я надеюсь использовать xargsдля распараллеливания процесса. Я использую команду: find ./data -name "*.json" -print0 | xargs -0 -I{} -P 40 python Convert.py {} > log.txt По сути, Convert.pyпрочитает небольшой файл json (4 КБ), выполнит некоторую обработку и …

9 xargs  parallelism 

Я написал скрипт bash в следующем формате: #!/bin/bash start=$(date +%s) inFile="input.txt" outFile="output.csv" rm -f $inFile $outFile while read line do -- Block of Commands done < "$inFile" end=$(date +%s) runtime=$((end-start)) echo "Program has finished execution in $runtime seconds." whileЦикл будет читать $inFile, выполнять некоторые действия на линии и сбросить результат …

9 shell-script  multithreading  parallelism 

Я хочу распараллелить forциклы следующего кода. Как это сделать? #!/bin/bash N=$1 n=$2 for (( i=1; i<=$N; i++ )); do min=100000000000000 //set min to some garbage value for (( j=1; j<=$n; j++ )); do val=$(/path/to/a.out) val2=`echo $val | bc` if (( $val2 < $min )); then min=$val2; fi done arr=("${arr[@]}" "$min") …

9 bash  shell-script  parallelism 

Это правильный способ запустить несколько последовательных обработок в фоновом режиме? for i in {1..10}; do for j in {1..10}; do run_command $i $j; done & done; Все jдолжны быть обработаны после друг друга для данного i, но все iдолжны быть обработаны одновременно.

8 bash  background-process  for  parallelism 

Скажем, у меня есть несколько сценариев bash, которые работают параллельно, с кодом, подобным следующему: #!/bin/bash tail -f /dev/null & echo "pid is "$! Является ли $!гарантированно дать мне PID в самой последней фоновой задачи в этом сценарии , или это самая последняя фоновая задача во всем мире? Мне просто любопытно, …

8 bash  shell-script  parallelism 

У меня смущающий параллельный процесс, который создает огромное количество почти (но не полностью) идентичных файлов. Есть ли способ архивировать файлы «на лету», чтобы данные не занимали больше места, чем необходимо? Сам процесс принимает параметры командной строки и печатает имя каждого файла, созданного в стандартный вывод. Я вызываю его, parallel --gnuкоторый …

8 filesystems  tar  parallelism  fuse 

Я хотел бы использовать функцию параллельного запуска GNU, где он может выполнять команду и список, в который она подается параллельно, и выплевывать его после того, как все будет сделано, однако я не хочу устанавливать параллельный GNU на всех наших серверах. Или, возможно, параллельная версия xargs? Есть ли ksh-реализация того, что …

8 ksh  gnu  parallelism  gnu-parallel 

Скажем, у меня есть большое количество заданий (десятки или сотни), которые нужно выполнять, но они требуют значительных ресурсов процессора и только несколько из них могут быть запущены одновременно. Есть ли простой способ запустить Xработу сразу и начать новую после ее завершения? Единственное, что я могу придумать, это что-то вроде ниже …

2 scripting  process  freebsd  parallelism