Копировать большие файлы на несколько машин в локальной сети

9

У меня есть несколько больших файлов, которые мне нужно скопировать с одной машины Linux на примерно 20 других машин Linux, и все в той же локальной сети настолько быстро, насколько это возможно. Какие инструменты / методы лучше всего подходят для копирования этих файлов, учитывая, что это не будет одноразовой копией. Эти машины никогда не будут подключены к Интернету, и безопасность не является проблемой.

Обновить:

Причина, по которой я спрашиваю об этом, заключается в том, что (насколько я понимаю) мы в настоящее время используем scpсерийно для копирования файлов на каждую из машин, и мне сообщили, что это «слишком медленно», и ищется более быстрая альтернатива. Согласно тому, что мне сказали, попытка распараллелить scpвызовы просто замедляет его еще больше из-за поиска жесткого диска.

linux file-sharing

— Джонатан Каллен
источник

Определите «большой». Сотни МБ / ГБ / ТБ / больше?

— Янне Пиккарайнен

В настоящее время общее количество составляет около 4 ГиБ (сжатых), хотя в будущем это может возрасти.

— Джонатан Каллен

То есть любыми средствами даже в 2011 году - НЕ БОЛЬШОЙ. При наличии 1-гигабитной линии связи, которая должным образом переключена (стандарт в 2011 году), это довольно быстро выполнить. Запуск его на сервере 10g (не так уж редко в 2011 году) ... хорошо;)

— TomTom

27

BitTorrent. Это как Twitter разворачивает некоторые вещи внутри себя.

http://engineering.twitter.com/2010/07/murder-fast-datacenter-code-deploys.html (ссылка на веб-архив)

— mfinni
источник

3

В дополнение к моему ответу (который, я думаю, сработает хорошо, если вы сможете его реализовать), ниже приведен очень хороший ответ для NFS. Хороший NFS-сервер должен кэшировать файлы, чтобы вы не продолжали работать с диском. Кроме того , с этим, не копировать файлы с сервера на клиент. Инициируйте его с клиента и позвольте кешу сервера NFS помочь.

— Мфинни

1

Обязательно попробуйте это в непроизводственной среде: в презентации говорится, что (iirc) некоторые коммутаторы сильно пострадали во время первых развертываний из-за количества обмененных пакетов.

— Шадок

1

@psusi Почему вы говорите, что нужно отправить все данные 20 раз? Как только другие узлы получат часть файла, они могут начать отправлять части, которые у них есть, самим другим узлам.

— Джонатан Каллен

2

Проблема для ОП не в локальной сети, а в диске на центральном сервере.

— mfinni

1

@pSusi - многоадресная рассылка наверняка будет еще одним правильным ответом. Опубликовать это как ответ, а не как стук в мой ответ.

— mfinni

12

Что касается UFTP , он использует многоадресную рассылку для доставки файлов по UDP нескольким клиентам одновременно. Не для всех, и я не эксперт в этом, но, похоже, он делает то, что вы хотите.

— Chopper3
источник

1

Отказ от ответственности: для этого потребуется оборудование, поддерживающее многоадресную передачу.

— user606723

Я скорее надеялся, что это будет на том же VLAN - снижение влияния этого использования.

— Chopper3

@ user606723: не все ли современно? Может быть, какой-то потребительский мусор этого не делает, но я давно не сталкивался ни с чем из-за неработающей многоадресной рассылки. Слишком много пользуется этим в наши дни. Я думаю, что Windows Active Directory даже использует многоадресную рассылку.

— Zan Lynx

У меня нет опыта работы с @ZanLynx. Я знаю, что многие офисы / компьютерные лаборатории используют потребительские / неуправляемые коммутаторы на последнем прыжке. Как эти коммутаторы будут вести себя с многоадресной рассылкой?

— user606723

3

Вы пытались скопировать эти данные с rsync? Если у вас локальная сеть 1 Гбит или более, копирование более 4 * 20 ГБ не должно быть проблемой.

Как часто будет эта копия? Имеет ли значение, если это займет пару минут, чтобы закончить?

— Янне Пиккарайнен
источник

3

scp-цунами это путь!

https://code.google.com/p/scp-tsunami/

Он обычно используется для распределения образов дисков в кластерах виртуализации, его производительность почти битрорентна, но его проще использовать для повседневного использования.

— Джованни Торальдо
источник

2

Настройка общего ресурса NFS и получение каждой машиной доступа к этому общему хранилищу больших файлов, вероятно, будет самым быстрым способом (NFS очень быстрый и имеет небольшие накладные расходы).

Вы можете добавить дополнительный сетевой адаптер или два к исходному серверу и соединить их вместе, чтобы повысить пропускную способность.

Реализация может быть простой задачей cron на каждом целевом сервере, которая слепо выбирает общий ресурс каждый час / день / что угодно. Вы также можете настроить демон для опроса новых файлов; Вы также можете просто записать контрольный сеанс в SSH (с парами ключей) в каждое целевое поле и дать им указание извлечь файл при выполнении сценария.

— gravyface
источник

1

Я полагаю, что мой предшественник попытался использовать NFS для этого и обнаружил, что (в то время) кэш-память ОЗУ была недостаточно большой для всей передачи, что приводило к тому, что нагрузка на жесткий диск становилась ограничивающим фактором вместо сети скорость.

— Джонатан Каллен