Как я могу замедлить rsync?

Я пытаюсь скопировать содержимое неисправного флэш-накопителя USB. Если я читаю данные слишком быстро, микросхема контроллера накопителя перегревается и накопитель исчезает из системы. Когда это происходит, мне нужно отключить диск, подождать минутку или около того, чтобы он остыл, снова подключить его и перезапустить копию.

У меня есть старая резервная копия содержимого диска, поэтому очевидный способ получить оставшуюся часть данных - использовать ее rsyncдля обновления резервной копии, но это приводит к целому «слишком быстрое чтение, диск исчезает» и мне нужно начать заново ». Есть ли способ сказать, rsyncчтобы прочитать только X мегабайт данных в минуту? В качестве альтернативы, можно ли сказать ему, чтобы приостановить операции, когда диск исчезает, и возобновить, когда он снова подключен?

В отличие от опыта DopeGhoti, этот --bwlimitфлаг ограничивает передачу данных с помощью моего rsync (v3.1.2).

тест:

$ dd if=/dev/urandom bs=1M count=10 of=data
10+0 records in
10+0 records out
10485760 bytes (10 MB, 10 MiB) copied, 0.0871822 s, 120 MB/s

$ du -h data
10M     data

$ time rsync -q data fast
0.065 seconds

$ time rsync -q --bwlimit=1M data slow
10.004 seconds

(примечание: мой timeвывод выглядит иначе, чем большинство timeвызовов ( zshфункция), эти времена не редактировались мной)

В противном случае, возможно , что - то вдоль линий двойного -execдюйма find. Я считаю, что rsync -Rследует создавать и копировать родительские папки, но если это не так, то cp --parentsследует.

$ find /failing/usb -exec rsync -R {} /somewhere/safe/ \; -exec sleep 1 \;

Примечание : также проверьте ddrescue , это может быть правильным, что вы ищете :)

В некотором роде решение MacGyver, но в прошлом у меня был хороший успех:
поместите старый USB 1-хаб между флешкой и компьютером. Ни в коем случае, черт возьми, он так быстро не скопирует :-)

Другая возможность: если у вас есть другая доступная флешка, подключите ее к другому USB-порту, подключенному к тому же корневому концентратору (чтобы он разделял пропускную способность с вашей проблемной флешкой).
Теперь запустите большую операцию записи на дополнительную палку, чтобы обе палочки конкурировали за пропускную способность. Для дальнейшего контроля вы можете использовать ionice, чтобы еще больше снизить приоритет на проблемной ручке.

Вы можете использовать rsync --bwlimit=RATEдля регулирования скорости передачи файлов, которая, основываясь на комментариях ниже, на самом деле, по-видимому, работает, ограничивая скорость чтения данных, которая является именно тем, что вы ищете.

Больше решений, в дополнение к rsync --bwlimit=100, для 100 КБ / с.

1. Используйте ddrescueс --max-read-rateопцией для полной копии диска. Это также позволит вам перезапустить полную копию диска, где он остановился после ошибки.

   ddrescue --max-read-rate=100K /failing/usb output.img output.logfile
   

ddrescueТакже есть много других опций, относящихся к восстановлению данных, см. руководство здесь .

2. Используйте pv(«просмотрщик труб») с --rate-limitпараметром или throttleинструментом для ограничения количества труб. pvтакже может показать прогресс. Вы можете сделать эту работу для любого инструмента, который использует трубу или может использовать трубу:

   tar -cf - /failing/usb | throttle -K 100 | tar -C /your/outputfolder/ -xvf -
   

   или

   tar -cf - /failing/usb | pv --rate-limit 100k | tar -C /your/outputfolder/  -xvf -
   

   Взгляните на страницу руководства pv для получения дополнительных настроек и примеров. Для throttle, вы можете также попробовать -wопцию, которая определяет, как рассчитывается скорость, см. Справочную страницу газа .