Какую программу я должен использовать для передачи данных 20TB по сети?

10

Мне нужно скопировать 20 ТБ данных в массив Thunderbolt. Ящик, в котором существуют данные, не имеет соединения с молнией, поэтому для этого мне потребуется использовать локальную сеть 1 ГБ. (Да, это займет вечность).

Я пытался использовать Filezilla / sftp, но он потерпел крах, когда очередь стала очень большой. Rsync или scp - это путь?

data-transfer thunderbolt rsync

— lacinda
источник

2

Можете ли вы достать диск из старого устройства и подключить его напрямую?

Согласитесь с приведенным выше комментарием. Физическая передача имеет наибольшую пропускную способность.

— Сиюань Рен

Мне нравится Carbon Copy Cloner, хорошая утилита с графическим интерфейсом, основанная на rsync. Разработчик раскошелился на rsync и сделал много улучшений. Я не могу говорить со скоростью vs rsync и / или tar или чем-то еще, но это мой путь к любому виду передачи данных, где я хочу знать, без сомнения, что мои данные хороши, как только все сказано и сделано. И если это не так, ССС скажет мне.

— Harv

Я удивлен, что нет никаких ссылок на FedEx .

— tedder42

16

rsync - хороший путь (scp почти такой же, с меньшим количеством функций). Вы можете использовать -Zопцию, которая включит сжатие zlib. В зависимости от того, насколько быстры ваши диски / компьютер, это может быть быстрее, чем отправка без сжатия, то есть, если ваша сетевая ссылка насыщена. Вам также может потребоваться опция режима архива, -aкоторая будет сохранять символические ссылки, разрешения и время создания / изменения, а также рекурсивно копировать каталоги. В зависимости от того, что вы копируете, вы можете захотеть -Eсохранить расширенные атрибуты и вилки ресурсов Mac. Наконец, --progressпокажет вам информацию о прогрессе.

— Майкл Д.М. Драйден
источник

11

rsync также хорош при возобновлении копирования, если происходит прерывание.

— Ли Джорамо

3

Отключение @LeeJoramo, возможность выбрать, где остановился неудачный перевод, чрезвычайно важна. Передача этой большой будет терпеть неудачу в какой - то момент, и вы хотите , чтобы убедиться , что вы не потеряете все , что прогресс , которого вы сделали в этой точке.

— Blahdiblah

6

Хотя я и не был таким вездесущим, как rsync, в прошлом я использовал инструментальный вызов «mpscp» - http://www.sandia.gov/MPSCP/mpscp_design.htm.

В Sandia National Labs это инструмент для копирования файлов, работающий по SSH, который специально оптимизирован для насыщения высокоскоростных сетей между близкими системами (например, копирование терабайтов данных между двумя суперкомпьютерами на одном сайте, подключенными через 10Gb + или Infiniband). Это работает хорошо, но может быть немного сложно настроить. В тестировании я легко видел, что он работает в 2–3 раза быстрее, чем rsync.

— Yeraze
источник

3

Используйте rsync и подумайте об использовании его с rsyncd. Если вы используете rsync без rsyncd, вы застряли с использованием ssh, что означает использование какого-либо шифрования. Вероятно, вы копируете данные со старой машины на новую, а на старой машине может не хватить ресурсов ЦП для достаточно быстрого шифрования данных для передачи, чтобы поддерживать насыщенный гигабитный канал Ethernet. Протестируйте передачу файлов, используя оба метода, и посмотрите, какой путь быстрее.

По этой же причине я бы посоветовал протестировать использование опции сжатия rsync, прежде чем использовать ее. Сжатие - это еще одна интенсивная загрузка ЦП, которая может не поддерживать скорость гигабитного Ethernet при попытке использовать старое оборудование. rsync - это пятнадцатилетняя программа, написанная еще тогда, когда большинство людей даже в странах первого мира получили доступ к Интернету через модем dialup. Пропускная способность сети в сравнении с компромиссом ЦП тогда сильно отличалась.

— Кайл Джонс
источник

Вы правы, что rsync по умолчанию использует ssh, но это не единственный вариант. Вы можете использовать rsh вместо этого, используя -eопцию. С помощью этой же опции вы можете изменить параметры ssh, чтобы использовать менее интенсивное шифрование процессора -e 'ssh -c arcfour,blowfish-cbc'или подобное. Имеет ли это какую-то разницу в скорости с современной машиной, я не знаю, но может быть целесообразно провести быстрый тест, особенно с 20 ТБ файлов.

— Майкл Д.М. Драйден

3

Упакованы ли эти 20 ТБ в небольшое количество больших файлов (таких как видео, база данных монстров) или в миллионы меньших файлов?

Если много маленьких файлов, я бы пошел с rsync для перезапуска или по конвейерному потоку tar для эффективности (одно сетевое соединение для лота, начните заново с самого начала, если оно не получится)

tar -cf - * | ( cd newhome; tar -xf - )

удаленная папка должна быть смонтирована.

Не могли бы вы напрямую прикрепить новый массив с другим интерфейсом? Локальный rsync не использует ssh, поэтому вы удаляете эту точку сбоя. Да, Firewire 800 медленнее, чем гигабитный Ethernet, но вы не можете загрузить Ethernet до 100% - это может быть быстрее с помощью FireWire. К вашему сведению, вы также можете подключиться по сети, если ящики находятся достаточно близко. Добавьте интерфейс в настройках системы -> сеть.

— Павел
источник

0

Другой вариант - попробовать Bittorrent Sync ( http://www.bittorrent.com/sync ). Я использовал его для синхронизации семейных фотографий и видео между членами нашей семьи по глобальной сети, но нет никаких причин, по которым он не будет работать для локальной сети. Он использует одноранговые соединения, поэтому данные не будут проходить через сервер, как если бы вы пытались использовать что-то вроде dropbox (не то, чтобы я думал, что у вас есть 20 ТБ места в Dropbox или вы хотите так долго ждать, чтобы загрузить так много данные!)

Он также поддерживается на нескольких платформах, поэтому обладает большей гибкостью, чем rsync и tar.

— KeNB
источник