Я ищу веб-паука для Ubuntu, такого как Webripper - Calluna Software . Вы можете скачать весь сайт, как вы можете с
wget -r -m example.com
но функция, которую я ищу, заключается в том, что вы можете ввести поисковый запрос типа «Linux», и он будет искать в Интернете и загружать их. Есть ли на Ubuntu такие программы?
Ответы:
Вы можете использовать Google Alerts для создания своего рода страницы поиска, доставляемой в канал, а затем использовать программу чтения RSS или Thunderbird для их чтения.
Я использую Thunderbird для RSS. Я не знаю, есть ли какие-либо программы для чтения RSS, которые могли бы экспортировать канал в простой HTML.
Дайте httrack (CLI) или webhttrack (веб-интерфейс) шанс, он в репо вселенной. Я не уверен насчет описанного вами поискового термина, но он предлагает множество легко настраиваемых опций.
http://packages.ubuntu.com/de/oneiric/webhttrack
HTTrack Website Copier - Бесплатный автономный браузер программного обеспечения (GNU GPL)
Вы можете попробовать http ripper .
Вот некоторые функции, размещенные на сайте:
Free Software (GPL 3) Generic (works with almost every website) Runs on GNU/Linux and Windows Nearly undetectable / blockable by servers Built with python and pygtk
Снимок экрана
Посмотрите руководство от самого разработчика httpripper:
Ссылка для скачивания:
У меня это работало под Ubuntu 11.10 x64
В CPAN Perl есть соответствующие модули. Вам просто нужно немного Perl-сценариев.
В частности, взгляните на модуль WWW: Механизация в модуле WWW: Механизация .