Синхронизация каталогов с автоматическим обнаружением пиров

10

Я работаю с кластером серверов Linux, который работает за облачной функцией автоматического масштабирования Amazon ( документация ). Есть файлы, которые накапливаются на каждом сервере, они являются файлами кэша для приложения. Я ищу автоматический способ синхронизации серверов между этими папками.

Rsync будет работать, если у кого-то есть умный способ сделать обнаружение сверстников.
То же самое и для Unison.
Мы также рассмотрели возможность использования SaaS, например Dropbox.
Gluster кажется излишним, и я не уверен, насколько легко подключить новый компьютер к кластеру.

В идеале, что происходит, когда запускается новый сервер, он обнаруживает своих пиров и начинает синхронизировать папку. С этого момента это новейшая файловая метка выигрывает синхронизацию P2P.

Есть что-нибудь, что делает это?

linux rsync cluster

— Калеб
источник

Это не делает одноранговое обнаружение, но это может представлять интерес независимо от - mrsync.sourceforge.net .

— Фахим Митха

1

Вы знаете, как бы странно это ни звучало, но использование rtorrent с включенным DHT в частном диапазоне ec2 может работать

Это даст вам

Автоматическое обнаружение пира
Проверенные состояния файла (yay для хэшей)
Минимальные требования к конфигурации (добавьте магнит (или виртуальный ip для последнего торрента) для торрента в скрипте запуска)
масштабируемость

— Tacticus
источник

1

Rsync upstream обеспечивает поддержку SLP (протокол определения местоположения службы). Он не включен в исходных файлах vanilla rsync, но поддержку SLP можно найти в архиве rsync-patches на домашней странице rsync (slp.diff). Например, пакет SUSE rsync собран с этим патчем; Я не знаю о других дистрибутивах.

Я не уверен, что это то, что вы ищете, и при этом у меня нет опыта работы с SLP.

— Петр Узел
источник

0

Может быть, я что-то здесь упускаю, но есть ли какая-то причина, по которой вы не просто настраиваете простой каталог NFS и просто монтируете все машины? Каждый раз, когда приложение записывает новый файл кэша, оно должно просто перезаписывать любые старые.

— opsguy
источник

1

Привет Опсгуй. Что вы упускаете, так это то, что происходит при сбое компьютера с NFS? Мы пытаемся устранить единственную точку отказа для кэша.

0

Я почти уверен, что есть какой-то инструмент управления Amazon, такой как инструменты командной строки , который позволяет вам написать загрузочный скрипт, чтобы узлы обнаруживали друг друга через частные или публичные IP-адреса.

Кстати, rsync и Unison не являются подходящим инструментом, если они должны очень часто распространять изменения в кеше. В этом случае вы должны рассмотреть какую-то действительно распределенную файловую систему.

— Марко Сольери
источник

0

Может быть, DRBD (распределенное блочное устройство)?

— MSpike
источник

1

Спасибо за ваш ответ, но ему не хватает содержания. DRBD не настолько известен, что не требует хотя бы ссылки. Но на самом деле, вы должны дать больше информации: почему DRBD подходит? Как это будет работать? Особенно если учесть, что Кевин считал Глостера излишним: почему бы не ДРБД?

— Жиль "ТАК - перестань быть злым"

Я только что понял, что вы ищете автоматическое обнаружение пиров, так что этот не подходит для вас. DRBD - это блочное устройство на вашем реальном оборудовании или на вершине какого-то тома, которое затем синхронизирует их по сети.

— MSpike