Вопросы с тегом «wget»

Я пытаюсь использовать wget для создания локального зеркала сайта. Но я обнаружил, что я не получаю все страницы ссылок. Вот сайт http://web.archive.org/web/20110722080716/http://cst-www.nrl.navy.mil/lattice/ Я не хочу, чтобы все страницы начинались с web.archive.org, но я хочу, чтобы все страницы начинались с http://web.archive.org/web/20110722080716/http://cst-www.nrl.navy.mil/lattice/. Когда я использую wget -r, в моей файловой структуре я …

12 linux  wget  httrack  webarchive 

Я знаю, что вы можете рекурсивно загружать веб-страницы wget, но возможно ли сделать пробный запуск? Так что вы могли бы сделать тестовый прогон, чтобы увидеть, сколько будет загружено, если вы действительно сделали это? Думая о страницах, которые имеют много ссылок на медиа-файлы, такие как, например, изображения, аудио или видеофайлы.

12 wget 

У меня довольно большой файл, размещенный на пяти разных серверах. Я хотел бы иметь возможность загружать разные части файла с каждого сервера и впоследствии объединять их, чтобы создать исходный файл. Есть ли способ сделать это с помощью curl / wget или любых других инструментов командной строки OS X?

12 macos  download  wget  curl 

Я имею в виду загрузку каждой страницы, доступной с Wayback Machine, в течение определенного периода времени и интервала. Например, я хочу загрузить каждую страницу, доступную по каждому дню с сайта Nature.com с января 2012 года по декабрь 2012 года. (Не совсем то, что я хочу сделать, но это достаточно близко …

11 download  wget  webpage 

Если пробег без параметров моих wgetотпечатков: D:\>wget SYSTEM_WGETRC = c:/progra~1/wget/etc/wgetrc syswgetrc = c:/progra~1/wget/etc/wgetrc D:\Apps\Util\wget: missing URL Usage: D:\Apps\Util\wget [OPTION]... [URL]... Try `D:\Apps\Util\wget --help' for more options. Это, вероятно, означает, что ищет файл wgetrcв c:/progra~1/wget/etc/wgetrc. К сожалению, это местоположение недоступно для программ без полномочий root. Я думал, что могу изменить SYSTEM_WGETRCили …

11 proxy  wget 

Я пытаюсь загрузить URL, который похож http://www.somesite.com/restaurants.html#photo=22x00085. Я помещаю его между одинарными кавычками, но он загружает только http://www.somesite.com/restaurants.html, который не является правильной страницей. Есть ли решение?

11 wget  url 

Я пытаюсь скачать два сайта для включения в CD: http://boinc.berkeley.edu/trac/wiki http://www.boinc-wiki.info У меня проблема в том, что это оба вики. Таким образом, при загрузке, например: wget -r -k -np -nv -R jpg,jpeg,gif,png,tif http://www.boinc-wiki.info/ Я получаю много файлов, потому что он также следует по ссылкам вроде ...? Action = edit ...? …

11 linux  unix  wget 

Как я могу написать скрипт bash, который будет делать следующее: URL = "example.com/imageID=" while (1..100) wget URL + $i #it will wget example.com/imageID=1, then 2, then 3, etc done Итак, у меня есть несколько циклов, URL-адрес которых заканчивается числом из цикла. Мне нужно wgetвсе это.

11 bash  shell-script  wget 

Я хочу загрузить файл с помощью Wget , но в соответствии с обычной философией UNIX я не хочу, чтобы он что-либо выводил, если загрузка прошла успешно. Однако, если загрузка не удалась, я хочу сообщение об ошибке. -qОпция подавляет весь вывод, в том числе сообщений об ошибках. Если я включу -nvпараметр …

11 wget 

У меня есть URL-адрес HTML-страницы, и я хочу grep его. Как я могу это сделать wget someArgs | grep keyword? Моя первая идея была wget -q -O - url | grep keyword, но вывод wget обходят grep и возникают на терминале в его первоначальном виде.

11 grep  wget 

Притворись, что я хотел, чтобы простая копия страницы была загружена на мой HD для постоянного хранения. Я не ищу глубокую рекурсивную загрузку, просто одну страницу, но также и любые ресурсы, загружаемые этой страницей, для загрузки. Пример: https://www.tumblr.com/ Ожидать: Index.html Любые загруженные изображения Любые загруженные файлы JS Любые загруженные файлы CSS …

11 javascript  html  css  images  wget 

Aria2 - отличная wgetзамена, обладающая множеством функций, таких как многопоточность, разделенная загрузка, резюме загрузки и т. Д. Но наличие всех этих функций и опций может затруднить выполнение некоторых конкретных команд. Я хочу скачать всю эту папку XOWA отсюда с 10 одновременными загрузками, и файл разделен на 4 сегмента из этого …

11 linux  wget  aria2 

Я пользователь Linux Mint (Lisa) и Tor Bundle, пытаюсь использовать wget вместо Tor. Следуя указаниям, которые я нашел здесь , все, что я получаю при запуске wget, это выходной файл, говорящий: «Требуется аутентификация 514». Вот что я сделал: я скачал последнюю версию Tor Bundle (версия 2.2.35-9) для Linux и распаковал …

10 linux  proxy  wget  linux-mint  tor 

В частности, я хотел бы иметь возможность загружать определенные страницы из моего профиля пользователя на различных сайтах Stack Exchange. Я хотел бы, однако, сделать это автоматически (с помощью cronзадания), из командной строки и в формате для анализа. Я предпочитаю использовать Linux для этого, но при необходимости могу получить доступ к …

10 linux  command-line  wget  curl  openid 

Как мне загрузить список файлов с файлового сервера, например, http://www.apache.org/dist/httpd/binaries/ ? Я полагаю, я мог бы использовать wget, но затем он пытается получить все ссылки, а также HTML-файл. Есть ли лучший инструмент для достижения этой цели?

10 download  apache-http-server  wget