Вызов нескольких сценариев bash и запуск их параллельно, а не последовательно

Предположим , что у меня есть три (или более) Баш сценариев: script1.sh, script2.shи script3.sh. Я хотел бы вызвать все три сценария и запустить их параллельно . Один из способов сделать это - просто выполнить следующие команды:

nohup bash script1.sh &
nohup bash script2.sh &
nohup bash script3.sh &

(Как правило, выполнение сценариев может занять несколько часов или дней, поэтому я хотел бы использовать их, nohupчтобы они продолжали работать, даже если моя консоль закрывается.)

Но есть ли способ выполнить эти три команды параллельно с одним вызовом?

Я думал что-то вроде

nohup bash script{1..3}.sh &

но это, кажется, выполняется script1.sh, script2.shи script3.shпоследовательно, а не параллельно.

for((i=1;i<100;i++)); do nohup bash script${i}.sh & done

Лучшим способом было бы использовать GNU Parallel . Параллельная GNU проста, и с ее помощью мы можем контролировать количество параллельных заданий, обеспечивая больший контроль над заданиями.

В приведенной ниже команде script{1..3}.shраскрывается и отправляется в качестве аргументов bashпараллельно. Здесь -j0указывает, что необходимо выполнить как можно больше заданий. По умолчанию parallelвыполняется одно задание для одного ядра процессора.

$ parallel -j0 bash :::: <(ls script{1..3}.sh)

И вы также можете попробовать использовать

$ parallel -j0 bash ::: script{1..3}.sh

При выполнении второго метода, если вы получаете какое-либо сообщение об ошибке, это означает, что --tollefопция установлена, /etc/parallel/configи ее нужно удалить, и все будет работать нормально.

Вы можете прочитать GNU Parallelsсправочную страницу здесь для более богатых вариантов.

А в случае, если вы выполняете задания с удаленной машины, лучше использовать, screenчтобы сессия не закрывалась из-за проблем с сетью. nohupВ этом нет необходимости, поскольку последние версии bash поставляются с huponexitas, offи это не позволит родительской оболочке отправлять HUPсигнал своим дочерним элементам во время выхода. В случае, если это не сброшено, сделайте это с

$ shopt -u huponexit  

Мы также можем использовать xargsдля параллельного запуска нескольких скриптов.

$ ls script{1..5}.sh|xargs -n 1 -P 0 bash

здесь каждый скрипт передается bash как аргумент отдельно. -P 0указывает, что количество параллельных процессов может быть как можно больше. Также безопаснее использовать bash по умолчанию job control feature (&).

Одна линия решение:

$ nohup bash script1.sh & nohup bash script2.sh & nohup bash script3.sh &

Менее остроумно, просто используйте скрипт-обертку:

$ cat script.sh
#!/usr/bin/env bash
script1.sh &
script2.sh &
script3.sh &
$ nohup script.sh &

Или зациклите их:

for script in dir/*.sh
do
    nohup bash "$script" &
done

Если вы хотите сэкономить на печати

eval "nohup bash "script{1..3}.sh" &"

Или, если подумать, может и нет

Оформить заказ этого инструмента: https://github.com/wagoodman/bashful

Скажем, у вас есть mytasks.yamlс

tasks:
    - name: A title for some tasks
      parallel-tasks:
        - cmd: ./script1.sh
        - cmd: ./script2.sh -x an-arg
        - cmd: ./script3.sh -y some-other-arg

И вы запускаете это так:

nohup bashful run mytasks.yaml

Ваши сценарии будут выполняться параллельно с вертикальным индикатором выполнения (+ это, если вы запускали его раньше, а время детерминировано). Вы можете настроить количество задач, которые вы хотите запускать параллельно, если вы начнете выполнять больше, чем только 3 из приведенных здесь:

config:
    max-parallel-commands: 6
tasks:
    ...

Отказ от ответственности: я автор.

Я предлагаю гораздо более простую утилиту, которую я только что написал. В настоящее время он называется par, но скоро будет переименован в parl или pll, еще не решил.

https://github.com/k-bx/par

API так же прост, как:

par "script1.sh" "script2.sh" "script3.sh"

Используйте Parallelshell

parallelshell "echo 1" "echo 2" "echo 3"

https://github.com/keithamus/parallelshell