Оптимизация rsync для быстрой передачи больших файлов


19

Это то, что мне нужно:

  • Демон Rsync работает на исходном сервере. Целевой сервер выполняет rsync, как показано ниже:
    rsync -ptv rsync: // source_ip: document / source_path / *. abc destination_path /
  • Огромные двоичные файлы (от 3 ГБ до 5 ГБ) копируются с исходного компьютера в пункт назначения по локальной сети. Таким образом, шифрование / дешифрование не требуется. Следовательно, не используя SSH. Машина назначения напрямую подключается к демону rsync.
  • Папка назначения всегда будет пустой до получения команды rsync. Поэтому мне не нужно беспокоиться об условном обновлении некоторых файлов. Rsync pull всегда будет создавать новые файлы в месте назначения (не обновлять). Следовательно, мне не нужен rsync для вычисления контрольных сумм.

Я не удовлетворен количеством процессора, потребляемого rsync на принимающей стороне? Какие параметры rsync помогут мне оптимизировать использование rsync в описанном выше случае. Меня беспокоит то, что rsync может делать больше, чем мне нужно. rsync контрольные суммы файлов. Мне это не нужно.

Также хотел бы видеть улучшения скорости.

Изменение размера блока, отключение контрольной суммы и т. Д. Поможет?


Не используйте rsync, если нет различий для передачи.
womble

3
@womble: Какой инструмент я должен использовать тогда? Rsync было предложено здесь- serverfault.com/questions/384467/...
Варуна

netcat или scp с нулевым шифром.
womble

3
Scp с нулевым шифром? Вы уверены, что scp поддерживает нулевой шифр? Можете ли вы привести один пример или указать мне соответствующие ресурсы?
Варун

Ответы:


25

Кажется, что вы, возможно, захотите взглянуть на --whole-fileили -Wпереключатель. Это включено по умолчанию, если rsync делает копии локальной файловой системы, но я думаю, что документы рекомендуют его использовать, если скорость локальной сети высока и синхронизация по сети.

По сути, он отключает алгоритм rsync delta и просто передает весь файл, если считает, что он другой.

Вам не нужно беспокоиться о контрольной сумме, если вы не форсируете -c. По умолчанию он просто смотрит на время последнего изменения и размер файла и предполагает, что файлы различаются, если эти значения различны.

Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.