Как я могу распространять большие загрузки на несколько компьютеров?

Мне нужно скачать большой файл (1 ГБ). У меня также есть доступ к нескольким компьютерам под управлением Linux, но каждый ограничен скоростью загрузки 50 КБ / с по политике администратора.

Как распределить загрузку этого файла на несколько компьютеров и объединить их после загрузки всех сегментов, чтобы я мог получить его быстрее?

download cluster parallelism

— Meysam
источник

Загрузите его дома и подключите через usb thumbdrive?

— WernerCD

Я помню такие вещи со старой солнечной станцией, когда я был в университете. Просто проверьте, достаточно ли у вас места для сохранения всего содержимого, один из моих друзей был исключен после блокировки всех компьютеров лаборатории (полная tmp).

— Kartoch

Если нет ограничений на загрузку, как быстро другой конец может отправить файл? Существуют ли ограничения на передачу между компьютерами в локальной сети?

— вс

@ SunWKim Нет. Там нет никаких особых ограничений.

— Meysam

Ответы:

Общие протоколы HTTP, FTP и SFTP поддерживают запросы диапазона , поэтому вы можете запросить часть файла. Обратите внимание, что для этого также требуется поддержка сервера, поэтому он может работать или не работать на практике.

Вы можете использовать curlи опцию -rили, --rangeчтобы указать диапазон и в конечном итоге просто catсвязать файлы вместе. Пример:

curl -r 0-104857600         -o distro1.iso 'http://files.cdn/distro.iso'
curl -r 104857601-209715200 -o distro2.iso 'http://files.cdn/distro.iso'
[…]

И в конце концов, когда вы собрали отдельные части, вы объединяете их:

cat distro* > distro.iso

Вы можете получить дополнительную информацию о файле, включая его размер, с помощью --headопции:

curl --head 'http://files.cdn/distro.iso'

Вы можете получить последний кусок с открытым диапазоном:

curl -r 604887601- -o distro9.iso 'http://files.cdn/distro.iso'

Прочитайте справочную страницу curl для получения дополнительных опций и объяснений.

Вы также можете использовать ssh и tmux, чтобы упростить запуск и отслеживание загрузок на нескольких серверах.

— Marco
источник

Примечание: осторожно, при использовании cat distro* > ...проверьте сортировку файлов, так как *развернутая вашей оболочкой может сортировать это так: distro1.iso distro10.iso distro11.iso ...и, таким образом, объединять в неправильном порядке.

— Себастьян

исправление для заметки @ Себастьяна будет:cat distro{1..10}.iso

— nonchip

Это решение зависит от оболочки и не переносимо. cat $(seq -fdist%g.iso 1 10)должно быть более предсказуемым, но это не удается csh, хотя. Замена $(…)на заднюю часть, похоже, работает в большинстве оболочек.

— Марко

@Marco, seqэто не переносимая команда. Вы можете использовать distro001.iso, distro002.iso...distroy010.iso

— Стефан Шазелас

Это политика администратора, 50 кБ / с на каждое соединение для передачи или общая пропускная способность, разрешенная на компьютере. Если это первый вариант, ответ можно использовать на одном и том же компьютере, вместо того, чтобы заходить на разные рабочие станции.

— Вс

Загрузка файла объемом 1 гигабайт со скоростью 50 килобайт в секунду займет около 5,5 часов.

Кажется, что усилия по координации нескольких компьютеров для получения частичных данных могут сэкономить некоторое время.

Вы можете посмотреть на bittorrent и использовать заполнение веб-страниц вместе с переводами через одноранговый обмен. Каждый клиент может получать фрагменты и обмениваться готовыми фрагментами в локальной сети (LAN). Вы получаете один и тот же файл размером 1 ГБ на каждом компьютере, но объединение фрагментов выполняется автоматически.

— солнце
источник