Возобновить передачу одного файла с помощью rsync

В Ubuntu я хочу скопировать большой файл со своего жесткого диска на съемный диск rsync. По какой-то другой причине операция не может быть завершена за один запуск. Поэтому я пытаюсь выяснить, как использовать, rsyncчтобы возобновить копирование файла с того места, где он остановился в прошлый раз.

Я пытался использовать опцию --partialили --inplace, но вместе с тем --progress, я нашел rsyncс --partialили --inplaceфактически начинается с начала, а не с того, что было оставлено в прошлый раз. rsyncРанняя остановка вручную и проверка размера полученного файла также подтвердили то, что я нашел.

Но с --appendrsync начинается с того, что осталось в прошлый раз.

Я в замешательстве, как я увидел на странице руководства --partial, --inplaceи, --appendпохоже, связан с возобновлением копирования с того, что осталось в прошлый раз. Кто-то может объяснить разницу? Почему не работает --partialили не --inplaceработает для возобновления копирования? Правда ли, что для возобновления копирования rsyncдолжна работать --appendопция?

Кроме того, если частичный файл был оставлен mvили cpне rsync, rsync --appendправильно ли возобновится копирование файла?

Чтобы возобновить прерванную копию, вы должны использовать rsync --append. Из объяснения man-страницы --append:

Это приводит к тому, что rsync обновляет файл, добавляя данные в конец файла, что предполагает, что данные, которые уже существуют на принимающей стороне, идентичны началу файла на отправляющей стороне. [...] Подразумевает --inplace, [...]

Опция --inplaceзаставляет rsync(перезаписывать) содержимое файла назначения напрямую; без --inplace , rsyncбудет:

1. создать новый файл с временным именем,
2. скопировать в него обновленный контент,
3. поменяйте его местами с файлом назначения и, наконец,
4. удалить старую копию файла назначения.

Нормальный режим работы в основном предотвращает конфликты с приложениями, в которых может быть открыт файл назначения, и несколько других ошибок, которые должным образом перечислены на rsyncстранице руководства .

Обратите внимание, что если операция копирования / обновления завершится неудачно на шагах 1.-3. выше, rsyncудалит временный файл назначения; эта --partial опция отключает это поведение и rsyncоставляет частично перенесенные временные файлы в файловой системе назначения. Таким образом, возобновление одной операции копирования файла не принесет большого успеха, если вы не вызвали первый rsyncс помощью --partialили --partial-dir(тот же эффект, что --partialи дополнительно дает указание rsync создать все временные файлы в определенном каталоге).

Знайте, что --appendподразумевает --inplace, что подразумевает --partial.

• При использовании просто --partialвы должны rsyncоставить частичные переводы и возобновить их при последующих попытках.

• При использовании --appendвы должны rsyncоставить как частичные файлы, так и возобновить их в следующий раз. После передачи rsyncследует проверять только контрольную сумму передаваемых данных.

• --append-verify включает в себя весь файл в проверке контрольной суммы, включая любую часть, переданную в предыдущей передаче.

• С либо --appendили --append-verifyнеудачная контрольная проверка должна вызвать файл , чтобы быть повторно переданы полностью (используя --inplace)

Вы должны иметь возможность возобновить mvили выполнить cpоперацию, rsyncно вы можете использовать эту --append-verifyопцию для спокойствия.

Обратите внимание, что использование --appendприводит rsyncк копированию только тех файлов, размер которых на получателе меньше размера отправителя (независимо от отметок времени) или отсутствует на получателе. По документации на эту опцию:

Если файл необходимо передать и его размер на получателе такой же или больше, чем размер отправителя, файл пропускается.

Больше информации на странице руководства

Дэвид Шварц прав, --partial(или лучше -P) делает то, что вы хотите. Я проверил это на 37G-файле, который был остановлен на ~ 8g, по сети. rsync быстро просканировал первые части фрагмента (показывая прогресс по ходу дела благодаря -P), а затем возобновил передачу в конец файла фрагмента.

Вы делали это правильно, --partialделает то, что вы хотите. Похоже, что он начинается с начала, потому что он всегда начинается с начала списка фрагментов данных файла, которые необходимо скопировать. --appendВариант опасно и приведет к повреждению файла , если данные не совпадают по какой - то причине.

По умолчанию rsyncвключается --whole-fileпри переносе с локального диска на локальный диск. Это перезапустит прерванную передачу с самого начала, вместо проверки уже имеющихся частей.

Чтобы отключить это, используйте:

--no-whole-file

Комбинируя это с одним --inplaceили --partialпозволит возобновить передачу позже.

Мой псевдоним для использования rsyncдля копирования:

rscp='rsync -ax --inplace --sparse --no-whole-file --protect-args'

Предупреждение : будьте осторожны при использовании, так --append-verifyкак он пропустит все файлы назначения того же размера или больше.