Как использовать PyCharm для отладки проектов Scrapy

Я работаю над Scrapy 0.20 с Python 2.7. Я обнаружил, что в PyCharm есть хороший отладчик Python. Я хочу протестировать на нем своих пауков Scrapy. Кто-нибудь знает, как это сделать, пожалуйста?

Что я пробовал

File->Setting->Project structure->Add content root.

Но я не знаю, что мне еще делать

Команда scrapyпредставляет собой скрипт python, что означает, что вы можете запустить ее из PyCharm.

Когда вы изучите двоичный файл scrapy ( which scrapy), вы заметите, что это на самом деле скрипт на Python:

#!/usr/bin/python

from scrapy.cmdline import execute
execute()

Это означает, что такую ​​команду scrapy crawl IcecatCrawlerможно также выполнить так:python /Library/Python/2.7/site-packages/scrapy/cmdline.py crawl IcecatCrawler

Попробуйте найти пакет scrapy.cmdline. В моем случае местоположение было здесь:/Library/Python/2.7/site-packages/scrapy/cmdline.py

Создайте конфигурацию запуска / отладки внутри PyCharm с этим скриптом в качестве скрипта. Заполните параметры скрипта командой scrapy и пауком. В этом случае crawl IcecatCrawler.

Как это:

Поместите точки останова в любом месте кода сканирования, и он должен работать ™.

Вам просто нужно это сделать.

Создайте файл Python в папке искателя вашего проекта. Я использовал main.py.

• Проект
  • Гусеничный трактор
    • Гусеничный трактор
      • Пауки
      • ...
    • main.py
    • scrapy.cfg

Внутри вашего main.py поместите этот код ниже.

from scrapy import cmdline    
cmdline.execute("scrapy crawl spider".split())

И вам необходимо создать «конфигурацию запуска» для запуска main.py.

При этом, если вы поместите точку останова в свой код, он остановится на этом.

В 2018.1 это стало намного проще. Теперь вы можете выбрать Module nameв своем проекте Run/Debug Configuration. Установите это значение scrapy.cmdlineи Working directoryзначение в корневой каталог проекта scrapy (тот, который находится settings.pyв нем).

Вот так:

Теперь вы можете добавлять точки останова для отладки кода.

Я запускаю scrapy в virtualenv с Python 3.5.0 и устанавливаю параметр «script», чтобы /path_to_project_env/env/bin/scrapyрешить эту проблему для меня.

Идея intellij тоже работает.

создать main.py :

#!/usr/bin/env python
# -*- coding: utf-8 -*-
#coding=utf-8
import sys
from scrapy import cmdline
def main(name):
    if name:
        cmdline.execute(name.split())



if __name__ == '__main__':
    print('[*] beginning main thread')
    name = "scrapy crawl stack"
    #name = "scrapy crawl spa"
    main(name)
    print('[*] main thread exited')
    print('main stop====================================================')

показать ниже:

Чтобы добавить немного к принятому ответу, почти через час я обнаружил, что мне нужно выбрать правильную конфигурацию запуска из раскрывающегося списка (рядом с центром панели инструментов значков), затем нажать кнопку «Отладка», чтобы заставить ее работать. Надеюсь это поможет!

Я также использую PyCharm, но не использую его встроенные функции отладки.

Для отладки использую ipdb. Я установил сочетание клавиш для вставки import ipdb; ipdb.set_trace()в любую строку, в которой я хочу, чтобы сработала точка останова.

Затем я могу ввести, nчтобы выполнить следующий оператор, sвойти в функцию, ввести любое имя объекта, чтобы увидеть его значение, изменить среду выполнения, ввести, cчтобы продолжить выполнение ...

Это очень гибко, работает в средах, отличных от PyCharm, где вы не контролируете среду выполнения.

Просто введите свою виртуальную среду pip install ipdbи поместите import ipdb; ipdb.set_trace()в строку, где вы хотите приостановить выполнение.

Согласно документации https://doc.scrapy.org/en/latest/topics/practices.html

import scrapy
from scrapy.crawler import CrawlerProcess

class MySpider(scrapy.Spider):
    # Your spider definition
    ...

process = CrawlerProcess({
    'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)'
})

process.crawl(MySpider)
process.start() # the script will block here until the crawling is finished

Я использую этот простой скрипт:

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

process = CrawlerProcess(get_project_settings())

process.crawl('your_spider_name')
process.start()

Расширяя версию ответа @ Rodrigo, я добавил этот скрипт, и теперь я могу установить имя паука из конфигурации вместо изменения строки.

import sys
from scrapy import cmdline

cmdline.execute(f"scrapy crawl {sys.argv[1]}".split())