Как вы ограничиваете пропускную способность для копии файла?

13

У меня есть старая коробка Windows 2000 в удаленном месте с подключением T1 и vpn для моего местоположения. Я обычно использую smb mounts для передачи файлов, но теперь пришло время списать сервер и скопировать его резервные копии в мое местоположение. У меня есть около 40 гигабайт (сжатых) для копирования. Я готов к тому, что это займет много времени, но у меня есть несколько предостережений.

Мне нужно ограничить пропускную способность, чтобы подключение к терминальной службе не затрагивалось.
Я хочу иметь возможность возобновить частичный перевод

Есть несколько небольших файлов и несколько больших файлов (10-20 гигабайт). Я знаком с rsync на платформах * nix, но мне не повезло с окнами, и я не знаю, что он действительно сохранит частично переданные файлы. Что ты используешь?

backup file-transfer windows-server-2000

— reconbot
источник

1

Робокопия, кажется, хорошее решение, мне придется попробовать его в ближайшее время. Я в настоящее время на 53,7% на частном торренте. Я выбрал uTorrent вместо robocopy из-за его планировщика, который позволит мне переводить неограниченное количество времени в нерабочее время и с приличным лимитом, когда это важно. Контрольная сумма тоже не повредит. Я закончил тем, что использовал инструкции Джеффа codinghorror.com/blog/archives/001272.html, хотя я уверен, что мне нужен больший контроль над публичным торрентом.

— перепроверять

19

robocopy.exeимеет переключатель, называемый межпакетным промежутком , позволяющий вставлять временное окно между пакетами вашей копии и тем самым уменьшать влияние на канал.

Это не совсем «использовать не более 30% доступной пропускной способности», но вы можете добиться того же эффекта с небольшой математикой. Вы всегда можете указать некоторое количество миллисекунд и дать ему поработать некоторое время, затем CTRL+Cпрервать, скорректировать свою команду по мере необходимости, затем возобновить. Я сделал это, когда я не хотел перегружать глобальную сеть в течение рабочего дня большими репликациями.

В robocopy есть еще один переключатель, /zпозволяющий «возобновить» передачу, поэтому, если передача прервана, вы можете выбрать, где остановились, и вам не нужно снова сдвигать все 40 ГБ.

Я не уверен, насколько детализирован бит возобновления, потому что я никогда не проверял, например, один 40-Гб ZIP-файл. Сначала попробуйте что-нибудь поменьше ;-)

Есть несколько хороших графических интерфейсов для robocopy, которые могут помочь с синтаксисом, но любой, кто имеет опыт работы с Linux, легко справится с этим. Возьмите последние версии из копии Windows 2003 или более поздней версии. В противном случае вы найдете его в качестве средства загрузки Windows 2000 Resource Kit Tool.

В записи Wikipedia для robocopy кто-то заметил, что штраф за перезапускаемое копирование ( /zпереключатель) в 6 раз ниже производительности (см. Известные недостатки ).

— nray
источник

Вы делаете это неправильно - Robocopy уже много лет является предпочтительным инструментом, протестированным в любом количестве различных сетей. «Робо» должно означать «надежный».

— nray

+! для Robocopy. Использовал его несколько раз, как это, и никогда не было проблемы.

— KPWINC

+1 за известный, широко используемый инструмент. Как это ни странно звучит, но иногда проще вставить Robocopy в пакетный файл (ick) и заставить его делать повторные копии таким образом с помощью системных задач.

— Эйвери Пейн

1

В локальной сети я обнаружил, что значение IPG, равное 50 мс, снизило до 10 Мбит / с, что было желаемым значением.

— trp

Кроме того, я обнаружил, что практически не могу получить более высокую пропускную способность со значениями IPG менее чем около 25 мс.

— trp

5

Для копирования 40 ТБ файлов потребуется более 60 часов. Может быть проще отправить внешний жесткий диск по почте в обоих направлениях. Вы можете сделать так, чтобы кто-то подключил его к серверу, скопировал / зашифровал ваши файлы и затем отправил его вам по почте.

— Карл С
источник

По моей математике это выглядит примерно на 60 часов: 40 ГБ * 1024 (МБ / ГБ) * 8 (бит / байт) / 1,5 Мбит / 3600 (сек / час) = ~ 60 часов. Конечно, наверняка будут накладные расходы и прочее, так что это займет немного больше времени, поэтому, скажем, 70 или 80, чтобы быть в безопасности? Но 1,5 Мбит довольно медленный, даже на самом старом ПК не должно возникнуть проблем с подачей данных с такой скоростью.

— Davr

2

«Никогда не стоит недооценивать пропускную способность универсала, полного лент, несущихся по шоссе». -Tanenbaum, Andrew S. (1996)

— nray

2

Утилита запасных жестких дисков потеряна в моем офисе. Я не против ждать.

— перепроверять

40GiB не так уж много для титула AAA в настоящее время. У вас еще нет FTTH ?! Вы бы закончили загрузку Steam, прежде чем вернуться из Best Buy (не говоря уже о том, чтобы сосать патч 25GiB в первый день).

— mbx

Когда? 2016? Вы знаете, что этот пост был сделан в 2009 году?

— JasonXA

4

Вы можете попробовать настроить FTP на блоке 2000 и использовать FTP-клиент на другом конце, например, filezilla для работы с частичными копиями.

— DanBig
источник

+1 Не говоря уже о том, чтобы ограничить полосу пропускания в Filezilla.

— Оскар Дюверборн

3

Вы говорите, что использовали rsync в * nix, есть несколько портов rsync для окон, которые вы можете посмотреть. Например:

Лично я нашел rsync довольно надежным, и он может обрабатывать прерывания в середине передачи и так далее. Rsync также имеет флаг, ограничивающий скорость передачи до точной скорости передачи в кбит / с, так что, похоже, это будет работать и для вас.

— Davr
источник

1

Я использую Robocopy для резервного копирования всех моих серверов, а также для оперативного резервного копирования Mailserver. Как только это настроено правильно, его действительно устанавливают это и забывают это. Лучшая вещь, которая когда-либо случалась с моей IT-жизнью. Просто положить в мои 32 цента (с учетом инфляции)

1

Я использую KillCopy для этой цели. Я нахожу это очень удобным.
Он имеет отдельные профили скорости и других настроек для локального и сетевого копирования.
Он также может возобновить работу, когда передача большого файла (или файлов) прерывается в случае плохого соединения или даже при сбое компьютера, на котором установлена программа.

— Роланд Пихлакас
источник