Я использую wget для загрузки всех изображений с веб-сайта, и он отлично работает, но сохраняет исходную иерархию сайта со всеми вложенными папками, поэтому изображения разбросаны по сторонам. Есть ли способ, чтобы он просто загружал все изображения в одну папку? Синтаксис, который я использую в данный момент:
wget -r -A jpeg,jpg,bmp,gif,png http://www.somedomain.com
Ответы:
Попробуй это:
wget -nd -r -P /save/location -A jpeg,jpg,bmp,gif,png http://www.somedomain.com
Вот еще немного информации:
-ndпредотвращает создание иерархии каталогов (т.е. отсутствие каталогов ).
-rразрешает рекурсивный поиск. См. Рекурсивную загрузку для получения дополнительной информации.
-P устанавливает префикс каталога, в который сохраняются все файлы и каталоги.
-Aустанавливает белый список для получения только определенных типов файлов. Допускаются строки и шаблоны, и их можно использовать в списке, разделенном запятыми (как показано выше). Для получения дополнительной информации см. Типы файлов .
-Aопцией accept , см. Документацию Wget о типах файлов . Кроме того, если вы загружаете в текущий каталог, вы можете удалить -Pопцию префикса каталога . Если вы загружаете файл одного типа, например только jpg, используйте что-нибудь вроде wget -r -A.jpg http://www.domain.com. Посмотрите на расширенные примеры, которые предоставляет документация Wget.
-nd к вышесказанному заставляет его работать. Вы также можете указать несколько флагов -A, например-A "*foo*" -A "*bar*"
--level=infили, --level=9999999999потому что wgetэто может сорвать работу из-за максимального уровня глубины рекурсии по умолчанию 5.
wget -nd -r -l 2 -A jpg,jpeg,png,gif http://t.co
-nd: нет каталогов (сохранить все файлы в текущем каталоге; -P directoryизменить целевой каталог)-r -l 2: рекурсивный уровень 2-A: допустимые расширенияwget -nd -H -p -A jpg,jpeg,png,gif -e robots=off example.tumblr.com/page/{1..2}
-H: span hosts (по умолчанию wget не скачивает файлы с разных доменов или поддоменов)-p: реквизиты страницы (включает ресурсы, например изображения на каждой странице)-e robots=off: выполнить команду, robotos=offкак если бы она была частью .wgetrcфайла. Это отключает исключение роботов, что означает, что вы игнорируете robots.txt и мета-теги роботов (вы должны знать, к каким последствиям это приведет, будьте осторожны).Пример: получить все .jpgфайлы из примерного списка каталогов:
$ wget -nd -r -l 1 -A jpg http://example.com/listing/
Я написал сценарий оболочки, который решает эту проблему для нескольких веб-сайтов: https://github.com/eduardschaeli/wget-image-scraper
(Вырезает изображения из списка URL с помощью wget)
Попробуй это:
wget -nd -r -P /save/location/ -A jpeg,jpg,bmp,gif,png http://www.domain.com
и подождите, пока он удалит всю лишнюю информацию
wget -nd -r -P /Users/duraiamuthan/Downloads/images/ -A jpeg,jpg,bmp,gif,png http://www.forbes.com/profile/mark-zuckerberg/
Согласно странице руководства, флаг -P:
-P prefix --directory-prefix = prefix Установить префикс каталога как префикс. Префикс каталога - это каталог, в котором будут сохранены все другие файлы и подкаталоги, то есть верхняя часть дерева поиска. По умолчанию это. (текущий каталог).
Это означает, что он указывает только место назначения, но и место для сохранения дерева каталогов. Он не сводит дерево только в один каталог . Как упоминалось ранее, на самом деле это делает флаг -nd.
@Jon: в будущем было бы полезно описать, что делает флаг, чтобы мы понимали, как что-то работает.
Предлагаемые решения идеально подходят для загрузки изображений и если вам достаточно сохранить все файлы в используемом каталоге. Но если вы хотите сохранить все изображения в указанном каталоге без воспроизведения всего иерархического дерева сайта, попробуйте добавить «каталогов» к строке, предложенной Джоном.
wget -r -P /save/location -A jpeg,jpg,bmp,gif,png http://www.boia.de --cut-dirs=1 --cut-dirs=2 --cut-dirs=3
в этом случае каталоги не позволят wget создавать подкаталоги до 3-го уровня глубины иерархического дерева веб-сайта, сохраняя все файлы в указанном вами каталоге. Вы можете добавить дополнительные каталоги с более высокими номерами, если вы имеют дело с сайтами с глубокой структурой.
Утилита wget извлекает файлы из всемирной паутины (WWW), используя широко используемые протоколы, такие как HTTP, HTTPS и FTP. Утилита Wget - это свободно доступный пакет, лицензия на который распространяется под лицензией GNU GPL. Эта утилита может быть установлена в любой Unix-подобной операционной системе, включая Windows и MAC OS. Это неинтерактивный инструмент командной строки. Главная особенность Wget - надежность. Он разработан таким образом, чтобы работать в медленных или нестабильных сетевых соединениях. Wget автоматически начнет загрузку с того места, где она была остановлена, в случае проблем с сетью. Также скачивает файл рекурсивно. Он будет продолжать попытки, пока файл не будет полностью извлечен.
Установите wget на Linux-машину sudo apt-get install wget
Создайте папку, в которую вы хотите загружать файлы. sudo mkdir myimages cd myimages
Щелкните правой кнопкой мыши на веб-странице и, например, если вы хотите, чтобы местоположение изображения, щелкните правой кнопкой мыши изображение и скопируйте местоположение изображения. Если есть несколько изображений, выполните следующие действия:
Если есть 20 изображений для одновременной загрузки из Интернета, диапазон начинается от 0 до 19.
wget http://joindiaspora.com/img {0..19} .jpg