gyolkin / scrapy_parser_pep

PEP Parser (Scrapy)

В данном репозитории находится асинхронный парсер, собирающий данные о PEP с сайта Python.org. На каждой странице, связанной с PEP, парсер находит и обрабатывает номер, название, статус. В папке results представлен результат работы парсера:

• Список PEP (номер, название и статус);
• Количество PEP по статусу и их суммарное количество.

Стек

1. Python
2. Scrapy

Запуск парсера

Клонируйте репозиторий, перейдите в появившуюся папку:

git clone https://github.com/gyolkin/scrapy_parser_pep.git
cd scrapy_parser_pep

Создайте и активируйте виртуальное окружение (пример для Windows):

py -[V] -m venv venv
. venv/scripts/activate

В активированном виртуальном окружении установите зависимости:

pip install -r requirements.txt

Запустите парсер:

scrapy crawl pep