Развертывание файлов на нескольких серверах

У нас есть центральное хранилище файлов, скажем, на сервере-1 в /srv/www. Тогда у нас также есть N серверов. Мы хотим, чтобы сервер-1 мог развертывать свои файлы /srv/wwwна всех серверах максимально быстро и эффективно.

Есть ли что-то вроде rsync, но вместо того, чтобы указывать одну цель, указывать кластер (N серверов) целей?

Я думал, что gitможет работать, но мы можем указать несколько пультов, чтобы подтолкнуть тоже?

Что является лучшим решением, если предположить, что N серверов могут в конечном итоге достигать сотен.

Ну, и Twitter, и Facebook начали использовать bittorrent в своих кластерах для распространения новых версий кода. Делая это, они могут передавать код на десятки тысяч серверов за очень короткое время по сравнению с централизованными методами развертывания старой школы.

Похоже, вы пока не достигли такого масштаба, но при разработке вашей системы развертывания нет никакого вреда, так что в ближайшее время она не станет узким местом.

Я не рекомендую мерзавца для весов, с которыми вы разговариваете. Это может работать, но я лично вижу некоторые недостатки в использовании этой модели для получения.

Есть несколько вещей, которые определяют, как лучше всего это сделать:

1. Насколько большим репо нужно поделиться.
2. Как быстро это должно сходиться.

Для идеальной конвергенции и максимальной скорости вам придется работать с сетевой файловой системой, такой как NFSv4. Кластерные файловые системы, о которых я знаю, не масштабируются до «нескольких сотен» узлов, поэтому это должна быть сетевая файловая система. Это создает свои собственные проблемы, но это означает, что вы достигнете конвергенции, как только файлы будут обновлены в заголовке NFS.

Для быстрой конвергенции вы можете использовать некоторую хитрость rsync. Если демон rsync в конечном итоге привязан к процессору, вы, безусловно, можете поставить пару-тройку серверов rsync за балансировщиком нагрузки, таким как haproxy. Соедините это с заданиями cron для извлечения данных (или каким-либо другим способом запуска обновлений кода), и вы сможете довольно быстро достичь конвергенции.

Для обоих из вышеперечисленных, вероятно, будет хорошей идеей разместить центральный репозиторий на каналах 10GbE для максимальной пропускной способности.

Альтернативой является push-rsync, где он запускается из центрального репозитория для отправки обновлений на ваши серверы. Он не будет сходиться так быстро, как любой из вышеперечисленных, но будет более дружественным к вашей внутренней пропускной способности. Используйте несколько хостов, нажимающих на разделенные диапазоны для лучшей скорости.

rdist может работать на вас.

[филиал] Используя Kwatee ( http://www.kwatee.net ), вы можете развернуть на столько серверов, сколько захотите. Развертывания являются инкрементными (передаются только измененные файлы) и могут быть распараллелены, поэтому это очень быстро. Вы также можете настроить Kwatee на балансировку нагрузки, чтобы серверы удалялись из LB во время обновлений, а затем снова вставлялись. Существует графический интерфейс для настройки параметров развертывания, а затем развертывание может быть инициировано вручную через графический интерфейс или автоматизировано с помощью команд python.