Я хочу сделать свежую новую копию большого количества файлов с одного локального диска на другой.

Я читал, что rsync сравнивает контрольные суммы файлов при отправке их на удаленный компьютер по сети.

1. Будет ли rsync сравнивать файлы на двух локальных дисках?

2. Если это делает проверку - это безопасная ставка? Или лучше сделать байтовое сравнение?

rsync всегда использует контрольные суммы для проверки правильности передачи файла. Если целевой файл уже существует, rsync может пропустить обновление файла, если время и размер изменения соответствуют исходному файлу, но если rsync решает, что данные должны быть переданы, контрольные суммы всегда используются для данных, передаваемых между отправляющим и получающим процессами rsync. , Это подтверждает, что полученные данные совпадают с данными, отправленными с высокой вероятностью, без значительных накладных расходов при сравнении на уровне байтов по сети.

Как только данные файла получены, rsync записывает данные в файл и полагает, что, если ядро ​​указывает на успешную запись, данные были записаны без повреждения на диск. rsync не перечитывает данные и сравнивает их с известной контрольной суммой в качестве дополнительной проверки.

Что касается самой проверки, для протокола 30 и выше (впервые поддерживается в 3.0.0), rsync использует MD5 . Для старых протоколов используется контрольная сумма MD4 .

Хотя долго считалось устаревшим для безопасных криптографических хэшей, MD5 и MD4 остаются адекватными для проверки повреждения файлов.

Источник: справочная страница и просмотр исходного кода rsync для проверки.

rsyncэто не делать проверку после копирования для локальных копий файлов. Вы можете убедиться, что это не так, rsyncскопировав большой файл на медленный (например, USB) диск, а затем скопировав тот же файл cp, например:

time rsync bigfile /mnt/usb/bigfile

time cp bigfile /mnt/usb/bigfile

Обе команды занимают примерно одинаковое количество времени, поэтому rsyncне могут выполнять контрольную сумму, поскольку это потребует повторного чтения файла назначения с медленного диска.

manСтраница , к сожалению , вводящим в заблуждение по этому поводу. Я также проверил это с помощью - straceпосле того, как копия завершена, rsyncне read()вызывает никаких вызовов для файла назначения, поэтому он не может быть контрольной суммой. Еще один, вы можете проверить это с помощью чего-то вроде iotop: вы видите, что rsyncделаете чтение и запись одновременно (копирование из источника в место назначения), затем он завершается. Если бы это проверяло целостность, была бы фаза только для чтения.

rsyncделает сравнение контрольной суммы перед копированием (в некоторых случаях), чтобы избежать копирования того, что уже есть. Смысл сравнения контрольной суммы не в том, чтобы убедиться, что копия была успешной. Это работа базовой инфраструктуры: драйверы файловой системы, драйверы дисков, сетевые драйверы и т. Д. Отдельные приложения, например rsync, не должны беспокоиться об этом безумии. Все, что rsyncнужно сделать (и делает!), Это проверить возвращаемые значения системных вызовов, чтобы убедиться в отсутствии ошибок.

Быстрые и грязные ответы, прямо на вопросы.

Q: Будет ли rsyncсравнение при копировании файлов между двумя локальными дисками? A: Это сделает сравнение, чтобы выяснить, что копировать.

Q: Если это делает проверку - это безопасная ставка? Или лучше сделать байтовое сравнение? A: так же безопасно, как математика, лежащая в основе контрольной суммы файла MD5. Вы можете попытаться сделать простой эксперимент, чтобы изучить и доверять инструменту.

Длинный ответ: Я думаю, вы хотели rsyncсделать сравнение файлов (по битам или по контрольной сумме) после копирования файлов. Если вы один из немногих, кто ценит целостность данных, вам может пригодиться следующее:

rsync -avh [source] [destination] && rsync -avhc [source] [destination] 

Приведенная выше rsyncпапка с файлами кода при первом запуске и, если она завершена без проблем, rsyncсразу же запустится снова, выполняя сравнение с тем же именем файла, используя хэш всего файла.

Использование rsync для проверки целостности дубликата

Чтобы гарантировать, что этот тест физически перечитывает файлы с носителя, я предлагаю отключить оба диска и перезапустить их перед запуском этого теста. Это очистит их внутренние изменчивые кэши.

Если вы не перезагружаете Linux, вы должны по крайней мере удалить кеши ( * ) с помощью:

sudo sh -c 'echo 3 > /proc/sys/vm/drop_caches'

Затем перечитайте оба дерева и сравните их контрольные суммы:

rsync --dry-run --checksum --itemize-changes --archive SRC DEST

Современная контрольная сумма rsync использует MD5, который составляет 128 бит. Вероятность того, что не удастся обнаружить ошибку в отдельном файле, астрономически мала (некоторые здесь обсуждаются ), но не невозможна.