Вопросы с тегом «parallelism»

В файле .txt есть список IP-адресов, например: 1.1.1.1 2.2.2.2 3.3.3.3 За каждым IP-адресом находится сервер, и на каждом сервере есть sshd, работающий на порте 22. Не каждый сервер находится в known_hostsсписке (на моем компьютере Ubuntu 10.04 LTS / bash). Как я могу запускать команды на этих серверах и собирать вывод? …

46 ssh  scripting  parallelism 

Я использую четырехъядерный процессор Freescale IMX6. Я хочу знать, topперечисляет ли команда использование процессора всеми 4 ядрами или одним ядром. Я вижу, что загрузка ЦП приложения одинакова с 4 ядрами и одним ядром. Я предполагал, что загрузка процессора приложением увеличится на одном ядре и уменьшится на четырех ядрах, но не …

46 linux  top  parallelism  cpu-usage 

У меня есть папка с 250+ файлами по 2 ГБ каждый. Мне нужно найти строку / шаблон в этих файлах и вывести результат в outputфайл. Я знаю, что могу выполнить следующую команду, но она слишком медленная !! grep mypattern * > output Я хочу ускорить это. Будучи программистом на Java, …

38 grep  parallelism 

Мне нужно скачать большой файл (1 ГБ). У меня также есть доступ к нескольким компьютерам под управлением Linux, но каждый ограничен скоростью загрузки 50 КБ / с по политике администратора. Как распределить загрузку этого файла на несколько компьютеров и объединить их после загрузки всех сегментов, чтобы я мог получить его …

38 download  cluster  parallelism 

Есть ли какой-нибудь инструмент / команда в Linux, которую я могу использовать для одновременного запуска команды на нескольких вкладках? Я хочу выполнить одну и ту же команду: ./myprog argument1 argument2одновременно в нескольких оболочках, чтобы проверить, нормально ли работают мьютексы в многопоточной программе. Я хочу иметь возможность увеличить количество экземпляров этой …

33 shell  terminal  parallelism 

Я хочу собрать как можно быстрее. Пойди разберись. И хотел бы автоматизировать выбор номера, следуя -jопции. Как я могу программно выбрать это значение, например, в сценарии оболочки? Вывод nprocэквивалентен числу потоков, которые у меня есть для компиляции? make -j1 make -j16

31 linux  make  cpu  parallelism  multiprocessor 

В предположении, что дисковый ввод-вывод и свободная оперативная память являются узким местом (хотя процессорное время не является ограничением), существует ли инструмент, который может рассчитывать несколько дайджестов сообщений одновременно? Меня особенно интересует вычисление дайджестов больших файлов MD-5 и SHA-256 (размер в гигабайтах), предпочтительно параллельно. Я пытался openssl dgst -sha256 -md5, но …

25 shell-script  hashsum  parallelism 

У меня есть куча изображений PNG в каталоге. У меня есть приложение pngout, которое я запускаю для сжатия этих изображений. Это приложение вызывается скриптом, который я сделал. Проблема в том, что этот скрипт делает по одному, что-то вроде этого: FILES=(./*.png) for f in "${FILES[@]}" do echo "Processing $f file..." # …

23 shell  background-process  parallelism 

Предположим , что у меня есть три (или более) Баш сценариев: script1.sh, script2.shи script3.sh. Я хотел бы вызвать все три сценария и запустить их параллельно . Один из способов сделать это - просто выполнить следующие команды: nohup bash script1.sh & nohup bash script2.sh & nohup bash script3.sh & (Как правило, …

19 bash  shell-script  background-process  parallelism 

У меня проблема со сценариями оболочки, когда у меня есть каталог, полный входных файлов (каждый файл содержит много входных строк), и мне нужно обрабатывать их индивидуально, перенаправляя каждый из их выходных данных в уникальный файл (иначе, file_1.input needs). быть захваченным в file_1.output и т. д.). Предварительно , я бы просто …

18 scripting  parallelism  gnu-parallel 

Я использую xargsс опцией --max-args=0(альтернативно -P 0). Однако выходные данные процессов объединяются в stdoutпоток без учета правильного разделения строк. Поэтому я часто получаю такие строки: <start-of-line-1><line-2><end-of-line-1> Как я использую egrepс ^в моем шаблоне на всей xargsпродукции этого Мессинг мой результат. Есть ли какой-нибудь способ заставить xargsзаписывать выходные данные процесса по …

17 process  io  xargs  parallelism 

У меня есть скрипт оболочки bash, в котором я передаю некоторые данные через 5 или 6 различных программ, а затем окончательные результаты в файл с разделителями табуляции. Затем я делаю то же самое снова для отдельного подобного набора данных и выводлю во второй файл. Затем оба файла вводятся в другую …

17 scripting  parallelism 

Я могу SSH на удаленной машине, которая имеет 64 ядра. Допустим, мне нужно параллельно запустить 640 сценариев оболочки на этом компьютере. Как мне это сделать? Я вижу разделение 640 скриптов на 64 группы в каждой из 10 скриптов. Как мне тогда запустить каждую из этих групп параллельно , то есть …

16 parallelism 

Рассмотрим следующий сценарий. У меня есть две программы A и B. Программа A выводит в stdout строки строк, в то время как программа B обрабатывает строки из stdin. Способ использовать эти две программы, конечно: foo @ bar: ~ $ A | В Теперь я заметил, что это съедает только одно …

16 shell  parallelism 

Я нашел только puf (Parallel URL fetcher), но не смог заставить его читать URL из файла; что-то вроде puf < urls.txt тоже не работает. На сервере установлена ​​операционная система Ubuntu.

15 ubuntu  wget  parallelism