nrthbnd / scrapy_drugstore

Scrapy Проект - парсер интернет-аптеки Максавит

Парсер интернет-аптеки Максавит

Автор:

• Анастасия Боль · GitHub

Описание проекта

Парсер, разработанный с использованием фреймворка Scrapy, разработан для получения информации о товарах интернет-магазина maksavit.ru. Он осуществляет сбор данных о товарах из списка заданных категорий и предоставляет их в виде списка словарей, сохраняемых в файле формата .json. Выходные данные для каждого товара представлены в формате словаря, содержащего информацию о товаре, такую как дата и время сбора, уникальный код товара, ссылка на страницу товара, название товара, маркетинговые теги и другие характеристики.

Использование

1. Клонируйте проект на свой компьютер.
2. Создайте и активируйте виртуальное окружение, обновите менеджер пакетов pip и установите зависимости из файла requirements.txt.
3. Для запуска парсера введите в терминале: scrapy crawl maksavit

Формат выходных данных

Парсер сохраняет данные в формате JSON в папку results в файл с именем scrapy_result.json и представляет собой список словарей. Для каждого товара создается отдельный словарь со следующими полями:

• timestamp - дата и время сбора данных в формате timestamp.
• RPC - уникальный код товара.
• url - ссылка на страницу товара.
• title - название товара с учетом цвета или объема, если они указаны в карточке товара.
• marketing_tags - список маркетинговых тэгов.
• brand - бренд товара.
• section - иерархия разделов.
• price_data - информация о цене товара.
• stock - информация о наличии товара.
• assets - информация об изображениях и видео товара.
• metadata - дополнительная информация о товаре.
• variants - количество вариантов у товара в карточке (цвет или объем/масса).