Как сделать wget быстрее или многопоточным?

Я только что обновил аппаратную часть своего компьютера (процессор + материнская плата + графическая карта + память + жесткий диск), поэтому требуется установка новой ОС. Я пытался загрузить debian-6.0.6-amd64-netinst.isoс помощью wgetкоманды, но скорость настолько низкая, что я не мог вынести. 4Kb/s ~ 17 Kb/s, медленно, как бегущая черепаха, или еще медленнее, если я использую Chrome.

Я прочитал справочную информацию wget , кажется, что нет никаких вариантов, которые могли бы сделать это быстрее.

Есть ли способ сделать wget быстрее? Или есть возможность сделать многопоточную загрузку?

PS: моя пропускная способность 4M. Я использую эту команду:

wget -c url  http://hammurabi.acc.umu.se/debian-cd/6.0.6/amd64/iso-cd/debian-6.0.6-amd64-netinst.iso

Почему бы не попробовать axel? Это полноценный загрузчик командных строк.

Установить axelи запустить загрузку по

axel -a -n [Num_of_Thread] link1 link2 link3 ...

где '[Num_of_Thread]'число параллельных соединений, создаваемых для каждой ссылки, которую вы хотите скачать.

-a просто покажите улучшенный индикатор прогресса.

В отличие от многих других менеджеров загрузки, Axel загружает все данные непосредственно в конечный файл, используя один поток. Это экономит некоторое время в конце, потому что программе не нужно объединять все загруженные части.

Я пытался axelпо Gufran рекомендации «s , но он очень меня разочаровал. Моя цель состояла в том, чтобы найти замену CLI, DownThemAllпотому что он загружает процессор и жесткий диск и замедляет работу всей системы даже на 8-ядерном Mac Pro. Я также хотел многопоточную замену, wgetа curlне какой-то кусочек скрипта, который запускает несколько таких экземпляров. Поэтому я продолжил поиск и нашел то, что я считаю сейчас самым совершенным многопоточным загрузчиком CLI - aria2 . Большая проблема, с которой я столкнулся, axelзаключалась в том, что он «фальсифицировал» загрузку файлов через SSL. Я поймал это, делая это с tcdump. Скачивал httpsссылки как обычноhttp, Это действительно разозлило меня, и если бы я не проверил, у меня было бы ложное чувство безопасности. Я сомневаюсь, что многие люди знают об этом серьезном нарушении безопасности. Возвращаясь к этому aria2, он более продвинут, чем любой другой загрузчик. Он поддерживает протоколы HTTP (S), FTP, BitTorrent и Metalink, является мультиплатформенным и является партизанской загрузкой. Это максимизирует пропускную способность моего провайдера без нагрузки на процессор или жесткий диск, в отличие от DTA. Страница man является гигантской. Я никогда не буду использовать больше, чем несколько из его многочисленных вариантов. И, кстати, я проверил его SSL-производительность, tcdumpи он твердый, а не подделка. Я написал скрипт, который имитирует поведение DTA, если не его удобство.

Основная команда, которую я использую для получения максимальной пропускной способности:

aria2c --file-allocation=none -c -x 10 -s 10 -d "mydir" URL

-cпозволяет продолжить загрузку, если она прервана, -x 10и -s 10разрешить до 10 подключений на сервер, и -d "mydir"выводит файл в каталог mydir.

aria2files.sh:

#!/bin/bash

filename="$1" # get filename from command line argument

while read -r line
do
    if [ "$line" ] # skip blank lines
    then
        if [[ "$line" =~ (https?|ftp)\:\/\/ ]] # line contains a URL, download file
        then
            echo "URL: '$line'"
            aria2c --file-allocation=none -c -x 10 -s 10 -d "$currdir" "$line"
        else # line contains a directory name, create directory if not already present
            echo "Directory: '$line'"
            currdir="$line"
            if [ ! -d "$currdir" ]
            then
                mkdir -p "$currdir" # '-p' enables creation of nested directories in one command
            fi
        fi
    fi
done < "$filename"

Читает текстовый файл в формате:

files.txt:

dierctory 1
url1
url2
…
directory 2/subdirectory/sub-subdirectory/…
url3
url4
…
…
…

Скрипт читает имя файла из командной строки:

aria2files.sh files.txt

Он создает каталоги и загружает их. Он может создавать вложенные каталоги, как показано во втором примере.

Для более подробной информации смотрите мой пост Bash скрипт для загрузки файлов с URL-адресов в указанные каталоги, перечисленные в текстовом файле .