Четыре задачи параллельно ... как мне это сделать?

У меня есть куча изображений PNG в каталоге. У меня есть приложение pngout, которое я запускаю для сжатия этих изображений. Это приложение вызывается скриптом, который я сделал. Проблема в том, что этот скрипт делает по одному, что-то вроде этого:

FILES=(./*.png)
for f in  "${FILES[@]}"
do
        echo "Processing $f file..."
        # take action on each file. $f store current file name
        ./pngout -s0 $f R${f/\.\//}
done

Обработка только одного файла за раз, занимает много времени. После запуска этого приложения я вижу, что загрузка процессора составляет всего 10%. Итак, я обнаружил, что могу разделить эти файлы на 4 пакета, поместить каждый пакет в каталог и запустить 4 из четырех окон терминала, четырех процессов, поэтому у меня есть четыре экземпляра моего сценария, одновременно обрабатывающие эти изображения и работа занимает 1/4 времени.

Вторая проблема заключается в том, что я потерял время, разделяя изображения и пакеты и копируя скрипт в четыре директории, открывая 4 окна терминала, бла-бла ...

Как это сделать с одним сценарием, без необходимости что-либо делить?

Я имею в виду две вещи: во-первых, как мне из сценария bash запустить процесс в фоновом режиме? (просто добавьте & в конец?) Второе: как я могу прекратить отправку задач в фоновом режиме после отправки четвертых задач и поставить сценарий для ожидания завершения задач? Я имею в виду, просто отправка новой задачи в фоновом режиме, когда одна задача заканчивается, и всегда остается 4 параллельных задачи? если я не сделаю этого, цикл запустит миллионы задач в фоновый режим, и процессор засорится.

Если у вас есть копия, xargsкоторая поддерживает параллельное выполнение с -P, вы можете просто сделать

printf '%s\0' *.png | xargs -0 -I {} -P 4 ./pngout -s0 {} R{}

Что касается других идей, в Wooledge Bash wiki есть раздел в статье «Управление процессами», в котором описывается именно то, что вы хотите.

В дополнение к уже предложенным решениям вы можете создать make-файл, который описывает, как сделать сжатый файл из несжатого, и использовать его make -j 4для параллельного запуска 4 заданий. Проблема в том, что вам нужно будет по-разному называть сжатые и несжатые файлы или хранить их в разных каталогах, иначе будет невозможно написать разумное правило make.

Если у вас установлен GNU Parallel http://www.gnu.org/software/parallel/, вы можете сделать это:

parallel ./pngout -s0 {} R{} ::: *.png

Вы можете установить GNU Parallel просто:

wget http://git.savannah.gnu.org/cgit/parallel.git/plain/src/parallel
chmod 755 parallel
cp parallel sem

Посмотрите вступительные видео для GNU Parallel, чтобы узнать больше: https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1

Чтобы ответить на два ваших вопроса:

• да, добавление & в конце строки даст вам команду оболочки запустить фоновый процесс.
• используя waitкоманду, вы можете попросить оболочку дождаться завершения всех процессов в фоновом режиме, прежде чем продолжить.

Вот скрипт, модифицированный так, чтобы jон использовался для отслеживания количества фоновых процессов. При NB_CONCURRENT_PROCESSESдостижении сценарий сбрасывается jдо 0 и ожидает завершения всех фоновых процессов, прежде чем возобновить его выполнение.

files=(./*.png)
nb_concurrent_processes=4
j=0
for f in "${files[@]}"
do
        echo "Processing $f file..."
        # take action on each file. $f store current file name
        ./pngout -s0 "$f" R"${f/\.\//}" &
        ((++j == nb_concurrent_processes)) && { j=0; wait; }
done