ponomarev-prime / dj_parser

Парсит Хабр (bs4) и Маил_ру (selenium).

Hi there 👋

dj_parser's Issues

NEXT

Создать несколько веток:

1. parser - скрипт парсинга сайтов, написанный в классах. Отдаёт словарь "новость" - "ссылка".
2. web - Django + unvicorn для асинхронной работы. Отдаёт в html "Ожидание" и "Список статей с линками".
3. html - страница со стилями.
4. docker - file и readme для сборки образа.

Далее собираем все ветки в main.

Парсинг других страниц

Введение.

Допустим есть сайт, у которого внизу написано: " стр. 1 из 100".
Мы парсим пока ссылки со страницы 1. Остальное остается не очень просмотренным.

Задача.

Чтобы спарсить те страницы, Нужно сначала получить цифру - последнюю страницу(100), тоесть пропарсить ее. Далее запускать тот же метод только для каждой страницы по отдельности да последней.

Трудности.

Говорят, сайт может понять, что доступ идет со скрипта. Потому что запросы на страницы могут идти через равные промежутки времени, последовательно к каждой странице.

Добавление logging для класса Parser

https://github.com/AX2048/DJ_PARSER/blob/41c418ac3a207df348d55606a225fad445f3aed9/mysite/mysite/parser.py#L10

Просто принтить в консоль - не совсем хорошее решение.
Подключим логгер, который будет принтить в консоль уже.
В этой ссылке простые примеры:
https://stackoverflow.com/questions/50391429/logging-in-classes-python
В этой бенефиты от использования logger:
https://stackoverflow.com/questions/6918493/in-python-why-use-logging-instead-of-print

main branch

Переименовать master в main.

Inheritance class hierarhy

https://github.com/AX2048/DJ_PARSER/blob/41c418ac3a207df348d55606a225fad445f3aed9/mysite/mysite/parser.py#L5

Предлагаю продумать иерахию классов для того, чтобы разделить основные функции парсера, которые будут находиться в классе родителе, от функционала, который будет зависеть от конкретного метода парсинга конкретного сайта. Этот функционал (методы) будут находиться в классах потомках. Это может быть например habr, или mail_parser. Из названия примеров уже понятно, что данные классы будут парсить соответвующие сайты. Их методы будут зависеть от конретных потрубностей, а именно для mail будет запускаться selenium, а для habr bs4.