Вопросы с тегом «wget»

Если у меня список URL-адресов разделен \n, есть ли какие-либо параметры, которые я могу передать, чтобы wgetзагрузить все URL-адреса и сохранить их в текущем каталоге, но только если файлы еще не существуют?

11 wget  download  options 

В wget есть такая опция, -npкоторая отключает получение файлов из любого родительского каталога. Мне нужно что-то похожее, но немного более гибкое. Рассматривать: www.foo.com/bar1/bar2/bar3/index.html Я хотел бы получить все, но не «выше» (в древовидной иерархии), чем bar2(!). Так bar2что тоже надо извлекать но не надо bar1. Есть ли способ сделать wget …

11 wget  mirror  tree 

У нас есть скрипт, который загружает мод безопасности с github, который недавно начал давать сбой. На серверах работает CentOS 6, но RHEL 6, вероятно, имеет ту же проблему. Выход: # wget https://github.com/downloads/SpiderLabs/ModSecurity/modsecurity-apache_2.7.1.tar.gz --2014-07-22 18:49:46-- https://github.com/downloads/SpiderLabs/ModSecurity/modsecurity-apache_2.7.1.tar.gz Resolving github.com... 192.30.252.129 Connecting to github.com|192.30.252.129|:443... connected. HTTP request sent, awaiting response... 302 Found Location: …

10 centos  wget  github 

Я хотел бы применить этот патч, поэтому я скопировал код, начиная с «Index: src / options.h» и заканчивая «+ @ item», и поместил его в новый файл, созданный в wgetпапке с исходным кодом. Тогда я сделал: $ patch -p0 < name_of_patch (Patch is indented 1 space.) patching file src/options.h patch: …

10 wget  patch 

Я wgetсобираю огромные файлы (более 100 ГБ), а затем сравниваю сумму md5 с суммой, размещенной в хранилище. Хотите верьте, хотите нет, но md5sumдля запуска файла такого размера требуется нетривиальное время, поэтому я хотел бы получить сумму параллельно с загрузкой. Какой лучший способ сделать это? Я не вижу wgetвозможности рассчитать MD5 …

10 wget  checksum 

Я пишу сценарий bash, который широко использует wget. Чтобы определить все общие параметры в одном месте, я храню их в переменных. Вот кусок кода: useragent='--user-agent="Mozilla/5.0 (Windows NT 6.1; WOW64; rv:27.0) Gecko/20100101 Firefox/27.0"' cookies_file="/tmp/wget-cookies.txt" save_cookies_cmd="--save-cookies $cookies_file --keep-session-cookies" load_cookies_cmd="--load-cookies $cookies_file --keep-session-cookies" function mywget { log "#!!!!!!!!!# WGET #!!!!!!!!!# wget $quiet $useragent $load_cookies_cmd …

10 bash  wget  variable-substitution 

Я пытаюсь загрузить файл через HTTP с веб-сайта, используя wget. Когда я использую: wget http://abc/geo/download/?acc=GSE48191&format=file Я получаю только файл с именем index.html?acc=GSE48191. Когда я использую: wget http://abc/geo/download/?acc=GSE48191&format=file -o asd.rpm Я получаю asd.rpm, но я хочу скачать с реальным именем, и не хочу вручную изменять имя загруженного файла.

9 filenames  wget 

Я довольно новый wget. Мне просто нужно знать, как я могу установить папку назначения, в которой сохраняются загрузки. Я верю, что это так --directory-prefix. Спасибо,

9 wget 

Я загружаю исходную страницу HTML сайта с помощью cURLкоманды. Проблема в том, что я не хочу большую часть содержимого на странице. Мне просто нужны первые 100 строк исходной страницы. Есть ли способ остановить загрузку страницы после первых нескольких строк? В настоящее время у меня работает приведенная ниже команда, но она …

9 wget  curl 

Представьте себе что-то вроде этого: $ curlsh http://www.example.org > GET /foo/bar/bam ...output here... > POST /thing/pool ... ... result here.... есть ли инструмент, который позволяет мне это сделать?

9 wget  curl 

Я хочу скачать https://example.comс помощью wgetкоманды, но она говорит «неподдерживаемый / нераспознанный протокол». Я пытался использовать, --secure protocol=''но это не работает. Я скачал файл tar из GNU wget и попытался настроить его, но мне это не удалось. Вот пример того, что я вижу: bash-2.05$ wget https://www.facebook.com/ https://www.facebook.com/: Unknown/unsupported protocol. bash-2.05$ …

9 wget  https 

Я использую wgetкоманду в фоновом режиме, как это wget -bq и это печатает Продолжая в фоновом режиме, pid 31754. Но когда я набираю команду jobs, я не вижу свою работу (хотя загрузка еще не завершена).

8 command-line  wget  background-process  job-control 

Я хочу проверить, как будет вести себя мой сайт, когда его падают. Однако я хочу исключить все URL, содержащие слово «страница». Я старался: $ wget -r -R "*page*" --spider --no-check-certificate -w 1 http://mysite.com/ Предполагается, что -Rфлаг отклоняет шаблон URL, содержащий слово «страница». За исключением того, что это не похоже на …

8 wget  url 

Я пытаюсь найти действительно быстрый метод определения размеров изображений. Я знаю, что могу создать изображение, а затем использовать imagemagick для определения высоты и ширины изображения. Я обеспокоен тем, что это не самый быстрый способ сделать это. Я также обеспокоен необходимостью установить imagemagick, когда мне нужен только небольшой набор функций. Я …

8 bash  wget  imagemagick 

Одним из основных недостатков curlявляется то, что все больше и больше веб-страниц окрашивают свой основной контент в ответ JavaScript AJAX, который происходит после первоначального ответа HTTP. curlникогда не узнает об этом пост-окрашенном контенте. Поэтому, чтобы получить эти типы веб-страниц из командной строки, я был ограничен написанием сценариев на Ruby, которые …

8 wget  http  html  curl  selenium