программирование wget

5

Закрыто. Этот вопрос не соответствует рекомендациям по переполнению стека . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он соответствовал теме переполнения стека. Закрыто 2 года назад . Улучшить этот вопрос Я пытаюсь установить wget в MAC OS 10.11.1, но когда я запускаю, ./configure …

136 macos wget osx-elcapitan libssl libressl

7

Как использовать Wget для загрузки всех изображений в одну папку по URL-адресу?

Я использую wget для загрузки всех изображений с веб-сайта, и он отлично работает, но сохраняет исходную иерархию сайта со всеми вложенными папками, поэтому изображения разбросаны по сторонам. Есть ли способ, чтобы он просто загружал все изображения в одну папку? Синтаксис, который я использую в данный момент: wget -r -A jpeg,jpg,bmp,gif,png …

133 wget

4

Что лучше, завиток или wget? [закрыто]

Закрыто . Этот вопрос основан на мнении . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы ответить на него фактами и цитатами, отредактировав этот пост . Закрыто 5 лет назад . Улучшить этот вопрос Они такие же или нет? Можно ли делать определенные вещи …

132 linux curl wget

4

Как использовать запросы Python для имитации посещения браузера?

Я хочу получить контент с указанного ниже веб-сайта. Если я использую браузер, такой как Firefox или Chrome, я могу получить настоящую страницу веб-сайта, которую хочу, но если я использую пакет (или wgetкоманду) запросов Python для ее получения, он возвращает совершенно другую HTML-страницу. Я думал, что разработчик веб-сайта сделал для этого …

129 python html web-scraping python-requests wget

5

Wget выходной документ и заголовки в STDOUT

Я пытаюсь вывести тело документа и его заголовки на стандартный вывод с помощью wget по wget -S -O - http://google.com но он показывает только html-документ. Спасибо UPD: Сработал это wget --save-headers --output-document - http://google.com wget --version показывает GNU Wget 1.11.4 Red Hat модифицированный

116 linux http wget

6

Как получить содержимое веб-страницы в переменной оболочки?

Как в Linux получить URL-адрес и получить его содержимое в переменной в сценарии оболочки?

115 linux bash shell wget

10

Получить конечный URL после перенаправления curl

Мне нужно получить конечный URL-адрес после перенаправления страницы, желательно с помощью curl или wget. Например, http://google.com может перенаправлять на http://www.google.com . Содержимое легко получить (например curl --max-redirs 10 http://google.com -L), но меня интересует только конечный URL (в первом случае http://www.google.com ). Есть ли способ сделать это, используя только встроенные инструменты …

112 linux redirect curl wget

5

Как загрузить архив с GitHub с помощью cURL?

Я пытаюсь загрузить архив с GitHub, используя cURL , но, похоже, он не перенаправляет: $ curl --insecure https://github.com/pinard/Pymacs/tarball/v0.24-beta2 <html><body>You are being <a href="https://nodeload.github.com/pinard/Pymacs/tarball/v0.24-beta2">redirected</a>.</body></html> Примечание: у меня работает wget: $ wget --no-check-certificate https://github.com/pinard/Pymacs/tarball/v0.24-beta2 Однако я хочу использовать cURL, потому что в конечном итоге я хочу развернуть его в строке с чем-то …

93 linux curl github wget

2

Как отправить запрос HTTP OPTIONS из командной строки?

Я пытался использовать cURL, но кажется, что по умолчанию (Debian) не скомпилирован с поддержкой HTTPS, и я не хочу создавать его сам. wget похоже, есть поддержка SSL, но я не нашел информации о том, как сгенерировать HTTP-запрос OPTIONS с помощью wget.

93 curl wget

4

Тайм-аут WGET?

Я запускаю PHP-скрипт через cron, используя Wget, с помощью следующей команды: wget -O - -q -t 1 http://www.example.com/cron/run На обработку скрипта уйдет максимум 5-6 минут. Будет ли WGet ждать его и отдавать все необходимое время или время истечет?

85 linux cron wget

3

Как загрузить все ссылки на файлы .zip на данной веб-странице с помощью wget / curl?

Страница содержит ссылки на набор файлов .zip, все из которых я хочу загрузить. Я знаю, что это можно сделать с помощью wget и curl. Как это делается?

83 curl download wget

5

Могу ли я использовать wget для проверки, но не для загрузки

Могу ли я использовать wget для проверки ошибки 404 и не загружать ресурс? Если да, то как? благодаря

83 wget

9

Как показать только индикатор выполнения wget?

Например: wget http://somesite.com/TheFile.jpeg downloading: TheFile.tar.gz ... --09:30:42-- http://somesite.com/TheFile.jpeg => `/home/me/Downloads/TheFile.jpeg' Resolving somesite.co... xxx.xxx.xxx.xxx. Connecting to somesite.co|xxx.xxx.xxx.xxx|:80... connected. HTTP request sent, awaiting response... 200 OK Length: 1,614,820 (1.5M) [image/jpeg] 25% [======> ] 614,424 173.62K/s ETA 00:14 Как я могу заставить его выглядеть так downloading: TheFile.jpeg ... 25% [======> ] 614,424 173.62K/s …

81 linux bash wget sh

Вопросы с тегом «wget»