Автоматически запускать команды через SSH на многих серверах

В файле .txt есть список IP-адресов, например:

1.1.1.1
2.2.2.2
3.3.3.3

За каждым IP-адресом находится сервер, и на каждом сервере есть sshd, работающий на порте 22. Не каждый сервер находится в known_hostsсписке (на моем компьютере Ubuntu 10.04 LTS / bash).

Как я могу запускать команды на этих серверах и собирать вывод?

В идеале я хотел бы запускать команды параллельно на всех серверах.

Я буду использовать аутентификацию с открытым ключом на всех серверах.

Вот некоторые потенциальные подводные камни:

• SSH побуждает меня поместить данный SSH ключ сервера в мой known_hostsфайл.
• Данные команды могут возвращать ненулевой код выхода, что указывает на то, что вывод потенциально недействителен. Мне нужно это признать.
• Возможно, не удалось установить соединение с данным сервером, например, из-за сетевой ошибки.
• Должен быть тайм-аут в случае, если команда выполняется дольше, чем ожидалось, или сервер не работает во время выполнения команды.

Серверы AIX / ksh (но я думаю, что это не имеет значения.

Предполагая, что вы не можете установить pssh или другие программы, вы можете сделать что-то похожее на:

tmpdir=${TMPDIR:-/tmp}/pssh.$$
mkdir -p $tmpdir
count=0
while IFS= read -r userhost; do
    ssh -n -o BatchMode=yes ${userhost} 'uname -a' > ${tmpdir}/${userhost} 2>&1 &
    count=`expr $count + 1`
done < userhost.lst
while [ $count -gt 0 ]; do
    wait $pids
    count=`expr $count - 1`
done
echo "Output for hosts are in $tmpdir"

Есть несколько инструментов, которые позволяют вам входить в систему и выполнять серии команд на нескольких машинах одновременно. Вот пара:

• pssh
• pdsh
• ClusterSSH
• clusterit
• mussh

Если вы занимаетесь написанием скриптов на Python больше, чем bashнаписанием скриптов, то Fabric может стать для вас инструментом.

С домашней страницы Fabric :

Fabric - это библиотека Python (2.5 или выше) и инструмент командной строки для оптимизации использования SSH для развертывания приложений или задач системного администрирования.

Он предоставляет базовый набор операций для выполнения локальных или удаленных команд оболочки (обычно или через sudo) и загрузки / выгрузки файлов, а также вспомогательные функции, такие как запрос работающего пользователя на ввод или прерывание выполнения.

Типичное использование включает создание модуля Python, содержащего одну или несколько функций, а затем выполнение их с помощью инструмента командной строки fab.

Я использую для этого параллельный GNU , в частности, вы можете использовать этот рецепт:

parallel --tag --nonall --slf your.txt command

Имея your.txtфайл с IP-адресом / именами сервера.

Очень базовая настройка:

for host in $(cat hosts.txt); do ssh "$host" "$command" >"output.$host"; done

Аутентификация с именем / паролем действительно не очень хорошая идея. Вы должны установить закрытый ключ для этого:

ssh-keygen && for host in $(cat hosts.txt); do ssh-copy-id $host; done

Я предлагаю Ansible.cc . Это менеджер конфигурации и диспетчер команд.

Я думаю, что вы ищете pssh и связанные с ним параллельные версии обычного scp, rsync и т. Д.

Я создал инструмент с открытым исходным кодом под названием Overcast, чтобы упростить эту задачу.

Сначала вы определяете свои серверы:

overcast import vm.01 --ip 1.1.1.1 --ssh-key /path/to/key
overcast import vm.02 --ip 2.2.2.2 --ssh-key /path/to/key

Затем вы можете запустить несколько команд и файлов сценариев для них, последовательно или параллельно, например так:

overcast run vm.* uptime "free -m" /path/to/script --parallel

В проекте Hypertable недавно был добавлен многостанционный ssh-инструмент. Этот инструмент построен на libssh и устанавливает соединения и выдает команды асинхронно и параллельно для максимального параллелизма. См. Multi-Host SSH Tool для полной документации. Чтобы запустить команду на множестве хостов, вы должны выполнить ее следующим образом:

$ ht ssh 1.1.1.1,2.2.2.2,3.3.3.3 uptime

Вы также можете указать имя хоста или шаблон IP, например:

$ ht ssh 1.1.1.[1-99] uptime
$ ht ssh host[00-99] uptime

Он также поддерживает --random-start-delay <millis>параметр, который будет задерживать запуск команды на каждом хосте на случайный интервал времени от 0 до <millis>миллисекунд. Эту опцию можно использовать, чтобы избежать громких проблем со стадом, когда выполняемая команда обращается к центральному ресурсу.

Я разработал Collectnode, очень простой и эффективный для выполнения задач на нескольких серверах (включая Windows)

Как использовать CollectNode:

1. Создайте список серверов для работы с:

   # cat hosts.file
   server1
   server2
   server3
   server4
   server5
   

2. Выполните CollectNode, передавая список обслуживаний:

   collectnode --file servers.txt --command='cat /etc/httpd/conf/httpd.conf |grep ^User'
   

3. Опционально можно отфильтровать результаты, например, эта команда отображает только сервер, на котором выполняется условие.

   collectnode --file servers.txt --command='cat /etc/httpd/conf/httpd.conf |grep ^User' --where="command contain User"
   

https://collectnode.com/5-tasks-collectnode-can-help-managing-servers/

Просто HeadSup для действительно хорошего вопроса:

Лучшее решение, которое я нашел, это, что неудивительно, tmux.

Вы можете сделать Ctrl-B: setw synchronize-panes в tmux для потрясающего результата. Для этого у вас должны быть открыты все ваши ssh-соединения в разных панелях 1 окна Tmux.

Может быть, что-то вроде этого работает, чтобы запустить команду на нескольких хостах? Предположим, что все хосты настроены в .ssh / config для входа без пароля.

$ < hosts.txt xargs -I {} ssh {} command

Создайте файл / etc / sxx / hosts

заселить вот так:

[grp_ips]
1.1.1.1
2.2.2.2
3.3.3.3

поделитесь ключом ssh на всех машинах.

Установите sxx из пакета:

https://github.com/ericcurtin/sxx/releases

Затем запустите команду так:

sxx username@grp_ips "whatever bash command"

Использование http://www.paramiko.org/ Paramiko и параллелизма на основе потоков https://docs.python.org/3/library/threading.html .below позволяет выполнять несколько команд на каждом сервере параллельно!

ssh = paramiko.SSHClient()
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
ssh.load_system_host_keys()
ssh.connect(hostname, port, username, password)
t = threading.Thread(target=tasks[index], args=(ssh, box_ip,))
t.start()

Примечание: повторите приведенные выше инструкции для каждого сервера.

Я думаю «ожидать» - это то, что вам нужно.
Многие люди даже не знают, что он существует. Это основанная на Tcl программа, которая будет задавать вопросы и возможные ответы от вашего имени. Загляните на https://wiki.tcl-lang.org/page/Expect