Как возобновить scp с частично скопированными файлами? [закрыто]

Я использую команду оболочки scp для копирования огромной папки с файлами.

Но в какой-то момент мне пришлось убить запущенную команду (Ctrl + C или kill).

Насколько я понимаю, scp скопировал файлы последовательно, поэтому должен быть только один частично скопированный файл.

Как можно возобновить ту же команду scp, чтобы не перезаписывать успешно скопированные файлы и правильно обрабатывать частично скопированные файлы?

PS Я знаю, что могу делать такие вещи в rsync, но по какой-то причине scp для меня быстрее, и я использую его вместо этого.

Вы должны использовать rsyncболееssh

rsync -P -e ssh remoteuser@remotehost:/remote/path /local/path

Ключевой вариант -Pтакой же, как--partial --progress

По умолчанию rsync удаляет любой частично переданный файл, если передача прерывается. В некоторых случаях желательно сохранять частично переданные файлы. Использование параметра --partial указывает rsync сохранить частичный файл, что должно значительно ускорить последующую передачу остальной части файла.

Также можно использовать другие параметры, такие как -a(для режима архива) и -z(для включения сжатия).

Руководство: https://download.samba.org/pub/rsync/rsync.html

Альтернатива rsync:

Использование sftpс опцией -r(рекурсивно скопировать целые каталоги) и опцию -aиз sftp«S getкоманды„возобновить частичную передачу существующих файлов.“

Предпосылка: в вашей sftpреализации уже есть опция getwith -a.

Пример:

Скопируйте каталог /foo/barс удаленного сервера в ваш локальный текущий каталог. Каталог barбудет создан в вашем локальном текущем каталоге.

echo "get -a /foo/bar" | sftp -r user@remote_server

Начиная с OpenSSH 6.3, вы можете использовать regetкоманду в sftp.

Он имеет тот же синтаксис get, что и у него, за исключением того, что он начинает передачу с конца существующего локального файла.

echo "reget /file/path" | sftp -r user@server_name

Тот же эффект имеет -aпереключение на getкоманду или глобальный -aпереключатель командной строки sftp .

Другая возможность - попытаться спасти уже запущенный scp, когда он зависает.

ctrl + z в фоновый режим и остановите его, затем перейдите по ssh на принимающий сервер и войдите в систему, затем выйдите. Теперь запустите процесс scp и посмотрите, как он возобновляется из состояния "остановлен"!

Когда rsync также останавливается через пару секунд при первоначальной работе, я получил следующее решение грубой силы для запуска и остановки повторного запуска загрузки каждые 60 секунд:

cat run_me.sh
#!/bin/bash
while [ 1 ]
do
  rsync --partial --progress --rsh=ssh user@host:/path/file.tgz file.tgz &
  TASK_PID=$!
  sleep 60
  kill $TASK_PID
  sleep 2
done

Вы можете использовать опции -rshи . предназначен для частичной загрузки и указывает на то, что передача завершена через ssh procotol.-Prsync-P-rsh

Полная команда будет такой: rsync -P -rsh remoteuser@remotehost:/remote/path /local/path

Вчера у меня была такая же проблема, при передаче огромного дампа sql через scp, мне повезло с wget --continue the_url

Это сообщение в блоге довольно хорошо объясняет http://www.cyberciti.biz/tips/wget-resume-broken-download.html в основном:

wget --continue url