Многопоточная синхронизация файлов между двумя серверами Linux

9

В настоящее время я использую rsync для 2,2 миллиона файлов общим объемом 250 ГБ, и это всего лишь 700 тысяч файлов за 6 часов.

Кто-нибудь знает инструмент, похожий на rsync, который может делать это с несколькими потоками, чтобы он шел быстрее?

linux rsync

— Том ван Оммен
источник

3

Есть ли у вас основания полагать, что он каким-либо образом связан с процессором?

— Chopper3

Какие параметры rsync вы используете?

— Кайл Смит

Вы используете SSH в качестве транспорта?

— ДжимБ

rsync -avSPp И нет проблем ни с процессором, ни с диском.

— Том ван Оммен

И никакой транспорт SSH просто видел что-то в сети, не знаю, быстрее ли это. Индексирование всех файлов уже занимает много времени.

— Том ван Оммен

7

Я сомневаюсь, что процессор является ограничивающим фактором здесь. Скорее всего, вы ограничены как пропускной способностью сети для передачи, так и дисковым вводом-выводом; особенно задержка для всех этих вызовов статистики.

Можете ли вы разбить иерархию файловой системы на более мелкие куски для параллельной обработки?

Каковы исходные файлы, и что пишет или изменяет их? Можно ли отправлять изменения по мере их появления на уровне приложения?

— JimB
источник

Синхронизация файлов вложений Zarafa, все gzip-файлы по умолчанию. я мог бы запустить несколько экземпляров, но это менее эффективно, чем 10 потоков. И сеть от 1 Гбит до 1 Гбит, но разные центры обработки данных, но это не должно быть проблемой. получил 24 диска SAS на стороне источника и интеллектуальное хранилище с SSD на месте назначения.

— Том ван Оммен

1

@ Том ван Оммен - почему вы думаете, что у вас ограниченный процессор? Как несколько процессов менее эффективны, чем потоки, если вы действительно ограничены процессором?

— ДжимБ

1

@ Том ван Оммен, 10 процессов имеют больше накладных расходов, чем 10 потоков; однако блокировка структур данных между потоками является кошмаром кодирования. Зачастую для программиста гораздо эффективнее просто запускать несколько процессов и покончить с этим

— Майк Пеннингтон,

1

@Guacamole - множественные потоки могут помочь в некоторых ситуациях, но если его ссылка насыщена, он не собирается продвигаться дальше, независимо от того, сколько потоков у него есть. Rsync действительно использует потоки для параллелизма, и не блокирует внутренне на IO.

— ДжимБ

1

@ Guacamole - все, на что я указываю, это то, что если он использует ssh в качестве транспорта, его пропускная способность ограничена самим ssh (в частности, статическим окном приема, если он не использует ssh-патчи HPN).

— ДжимБ

1

Если дисковая подсистема принимающего сервера представляет собой массив с несколькими дисками, выполнение нескольких процессов rsync может повысить производительность. Я запускаю 3 процесса rsync для копирования файлов на сервер NFS (RAID6 с 6 дисками на группу рейдов) для насыщения Gigabit Ethernet.

Этот парень рассказывает об основном питоне, который запускает несколько процессов rsync http://www.reliam.com/company/featured_geek

— sinysee
источник

К сожалению, ссылка мертва. Не могли бы вы найти это снова?

— П.Петр

1

Я прочитал много вопросов, подобных этому. Я думаю, что единственный реальный ответ - разбить копию / переместить вручную. IOps будет проблемой здесь. Если вам от этого станет легче, я перевожу ~ 200 миллионов файлов, которые занимают более 100 ТБ дискового пространства.

— Wayne
источник

0

Вы можете рассмотреть возможность проверки многопоточного клона cp для linux (с открытым исходным кодом): http://static.usenix.org/event/lisa10/tech/slides/kolano.pdf

— Максим
источник

Хотя это может теоретически ответить на вопрос, было бы предпочтительным включить сюда основные части ответа и предоставить ссылку для справки.

— Скотт Пак