Вопросы с тегом «wget»

Я запускаю тысячи фоновых процессов curl параллельно в следующем скрипте bash START=$(date +%s) for i in {1..100000} do curl -s "http://some_url_here/"$i > $i.txt& END=$(date +%s) DIFF=$(( $END - $START )) echo "It took $DIFF seconds" done У меня 49Gb Corei7-920 выделенный сервер (не виртуальный). Я отслеживаю потребление памяти и процессора …

14 linux  performance  bash  curl  wget 

Я sshподошел к своему серверу и побежал, wget -r -np zzz.aaa/bbb/cccи он начал работать. Затем мое интернет-соединение (в моем доме) было прервано, и я забеспокоился, предполагая, что wgetэто произошло, hupпотому что sshсоединение было потеряно, и поэтому терминал умер. Но затем я sshотправился на свой сервер и понял, что он все …

13 ssh  terminal  wget  signals 

Я хочу сканировать ссылки по адресу www.website.com/XYZ и загружать только те ссылки, которые находятся по адресу www.website.com/ABC. Я использую следующую команду wget для получения нужных мне файлов: wget -I ABC -r -e robots=off --wait 0.25 http://www.website.com/XYZ Это прекрасно работает, когда я использую wget 1.13.4. Но проблема в том, что я …

13 command-line  wget 

Я хочу использовать wget(из сценария php) для загрузки файлов изображений, но не хочу загружать файлы определенного размера. Могу ли я ограничить размер файла wget? Если нет, что лучше?

13 files  wget  size 

Я пишу сценарий, который включает в себя загрузку и манипулирование файлом, и я хочу убедиться, что файл не является неполным (например, из-за разорванного соединения), прежде чем работать над ним.

13 files  wget  curl  download  corruption 

У меня есть сайт на сервере, который представляет собой кучу HTML-страниц, картинок и звуков. Я потерял свой пароль к этому серверу, и мне нужно захватить все, что там хранится. Я могу переходить от страницы к странице и сохранять все, но на сайте более 100 страниц. Я использую OSX. Я пытался …

13 wget 

Я бегу wgetтак: wget --mirror --adjust-extension --convert-links --no-cookies http://tshepang.net -o log-main Я получаю кучу этих сообщений: Last-modified header missing -- time-stamps turned off. Я предполагаю, что это означает, что страницы продолжают перезагружаться, даже если они у меня есть локально. ПРИМЕЧАНИЕ : я хочу, чтобы мне не приходилось перезагружать существующие файлы …

13 wget  web 

Я использую wget для загрузки статической HTML-страницы. W3C Validator сообщает, что страница закодирована в UTF-8. Тем не менее, когда я загружаю файл после загрузки, я получаю кучу глупостей. Я нахожусь на Ubuntu, и я думал, что кодировка по умолчанию была UTF-8? Вот что говорит мой файл локали. Почему это происходит …

12 wget  character-encoding  gzip  http 

Я загружаю данные, распределенные между несколькими файлами, которые не меняются после публикации. Поэтому --timestampingон недостаточно хорош, потому что постоянно проверяет, какой ресурс изменяется, что в моем случае совершенно бессмысленно. --no-clobberподошел бы идеально. К сожалению, --convert-links по какой-то причине это не работает . Были указаны и --no-clobber, и --convert-links, будут использоваться …

12 wget  download 

Например, у меня есть ссылка http://www.abc.com/123/def/ghi/jkl.mno. Я хочу скачать его с помощью wgetили curlи получить имя выходного файла как def_ghi_jkl.mno, где часть def_ghiвзята по ссылке. Я помещу эту wgetкоманду в скрипт для загрузки нескольких файлов, чтобы она не могла явно указывать имя выходного файла.

12 filenames  wget  curl 

Я хочу просто иметь возможность исследовать файловую систему dropbox без особой дополнительной нагрузки на процессор, память, хранилище (т.е. без локального сохранения копий удаленных файлов). Похоже, что официальный клиент потребляет много ресурсов (и может выполнять ненужные операции, такие как синхронизация) - http://www.lowendtalk.com/discussion/3179/dropbox-memory-usage-on-linux . Можно просто установить его (скажем, с помощью FUSE, …

12 wget  fuse  dropbox  hosting-services  protocols 

Если вы используете расширение скобок с помощью wget, вы можете легко получать изображения с последовательными номерами: $ wget 'http://www.iqandreas.com/sample-images/100-100-color/'{90..110}'.jpg' Он извлекает первые 10 файлов , пронумерованных 90.jpgв 99.jpgтолько штраф, но 100.jpgи далее возвращает 404: Файл не найдено ошибку ( у меня только 100 изображений , хранящихся на сервере). Эти несуществующие …

12 bash  shell-script  wget 

Страница wgetman утверждает это в разделе для --random-waitпараметра: Some web sites may perform log analysis to identify retrieval programs such as Wget by looking for statistically significant similarities in the time between requests. [...] A 2001 article in a publication devoted to development on a popular consumer platform provided code …

11 wget  man  documentation 

Я вызываю URL с помощью wget: /usr/bin/wget --read-timeout=7200 https://site_url/s В этом случае Wget выполняет запрос GET каждые 15 минут, несмотря на установленное время ожидания, почему это происходит? Вызов должен быть сделан только один раз, как я могу установить wget на НЕ ПОВТОРИТЬ? Я знаю, что вы можете установить, t=nно 0 …

11 linux  rhel  wget 

Wget - очень полезный инструмент для быстрой загрузки материалов в Интернете, но могу ли я использовать его для загрузки с сайтов хостинга, таких как FreakShare, IFile.it Depositfiles, Uploaded, Rapidshare? Если так, как я могу это сделать?

11 wget  download  hosting-services