Вопросы с тегом «scrapy»

Закрыто. Этот вопрос не соответствует рекомендациям по переполнению стека . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он соответствовал теме переполнения стека. Закрыто 5 лет назад . Улучшить этот вопрос Я пытаюсь разместить список возможных решений для автоматических тестов браузеров и безголовых браузерных …

368 selenium  web-scraping  scrapy  phantomjs  casperjs 

Я хочу установить Lxml, чтобы потом установить Scrapy. Когда я обновил свой Mac сегодня, он не позволил мне переустановить lxml, я получил следующую ошибку: In file included from src/lxml/lxml.etree.c:314: /private/tmp/pip_build_root/lxml/src/lxml/includes/etree_defs.h:9:10: fatal error: 'libxml/xmlversion.h' file not found #include "libxml/xmlversion.h" ^ 1 error generated. error: command 'cc' failed with exit status 1 …

234 python  xcode  macos  scrapy  lxml 

Я пытаюсь установить фреймворк Scrapy Python в OSX 10.11 (El Capitan) через pip. Сценарий установки загружает необходимые модули и в какой-то момент возвращает следующую ошибку: OSError: [Errno 1] Operation not permitted: '/tmp/pip-nIfswi-uninstall/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/six-1.4.1-py2.7.egg-info' Я попытался отключить функцию rootless в OSX 10.11 с помощью команды: sudo nvram boot-args="rootless=0";sudo reboot но я все …

206 python  macos  python-2.7  scrapy 

Недавно я изучал Python и погружаюсь в создание веб-скребка. Ничего особенного; его единственная цель - получить данные с веб-сайта для ставок и поместить их в Excel. Большинство проблем решаемы, и у меня есть хороший маленький беспорядок вокруг. Однако я столкнулся с огромным препятствием из-за одной проблемы. Если сайт загружает таблицу …

145 javascript  python  ajax  screen-scraping  scrapy 

Я хочу сделать сайт, который показывает сравнение между Amazon и E-Bay. Что из этого будет работать лучше и почему? Я немного знаком с BeautifulSoup, но не так много с Scrapy Crawler .

134 python  beautifulsoup  scrapy  web-crawler 

Я пытаюсь передать определенный пользователем аргумент пауку scrapy. Может ли кто-нибудь подсказать, как это сделать? Я -aгде-то читал о параметре, но понятия не имею, как его использовать.

100 python  scrapy  web-crawler 

Я работаю над Scrapy 0.20 с Python 2.7. Я обнаружил, что в PyCharm есть хороший отладчик Python. Я хочу протестировать на нем своих пауков Scrapy. Кто-нибудь знает, как это сделать, пожалуйста? Что я пробовал Собственно я пытался запустить паука как скрипт. В результате я построил этот сценарий. Затем я попытался …

97 python  debugging  python-2.7  scrapy  pycharm 

У меня есть проект scrapy, который содержит несколько пауков. Есть ли способ определить, какие конвейеры использовать для какого паука? Не все определенные мной конвейеры применимы для каждого паука. благодаря

85 python  scrapy  web-crawler 

Я пытаюсь очистить информацию о продукте с веб-страницы с помощью scrapy. Моя веб-страница, которую нужно очистить, выглядит так: начинается со страницы product_list с 10 продуктами нажатие на кнопку «Далее» загружает следующие 10 продуктов (URL-адрес между двумя страницами не меняется) Я использую LinkExtractor, чтобы переходить по каждой ссылке продукта на страницу …

85 python  selenium  selenium-webdriver  web-scraping  scrapy