potykion / w2w-server

Парсер страничек с Lamoda шмотками и не только

lamoda-parser

Парсер страничек с Lamoda шмотками

Как пользоваться

Собираем и запускаем Docker-образ:

docker build -t myimage .
docker run -d --name mycontainer -p 80:80 myimage

Передаем ссылку на шмотку, например такую в urlencoded-виде:

http://127.0.0.1/?url=https%3A%2F%2Fwww.lamoda.ru%2Fp%2Fhe002emklgv2%2Fclothes-hebymango-futbolka%2F

Получаем JSON-инфу по шмотке:

{
    "title": "CHERLO",
    "brand": "Mango Man",
    "type": "Футболка",
    "images": [
        "https://a.lmcdn.ru/img600x866/H/E/HE002EMKLGV2_11830317_2_v1.jpg",
        "https://a.lmcdn.ru/img600x866/H/E/HE002EMKLGV2_11830318_3_v1.jpg",
        "https://a.lmcdn.ru/img600x866/H/E/HE002EMKLGV2_11830316_1_v1.jpg"
    ]
}

w2w-server's Issues

Загрузка картинок на серв и в цдн

Задачки:

• апи для загрузки в цдн
• хендлер, который дергает апишку, принимает файл на вход, отдает ссылку
• хендлер, который дергает апишку, принимает ссылку на вход, отдает ссылку
• чтение .env файла

Ссылкота:

Файл как параметр:

• https://fastapi.tiangolo.com/tutorial/request-files/#file-parameters-with-uploadfile

Загрузка файлов в цдн:

• https://aioboto3.readthedocs.io/en/latest/usage.html#s3-examples
• https://cloud.yandex.ru/docs/storage/tools/boto

Работа с .env:

• https://fastapi.tiangolo.com/advanced/settings/#settings-in-another-module
• https://pydantic-docs.helpmanual.io/usage/settings/#dotenv-env-support

авто-апдейт серва

чет уроборос не сробил
мб авто рестарт надо прописать

500 при загрузке картинки в цдн

• чекнуть логи
• скорее всего из-за непроставленных енвов

docker compose

Создание шмотки

 @POST("/clothing/create")
  Future<Clothing> createClothing(
    @Part() String title,
    @Part() String type,
    @Part() String color,
    @Part() List<String> imageUrls,
    @Part() List<File> imageFiles,
  );

Кеширование

Нужно чтобы хендлер кешировал результат на день

Деплой на серв + чекнуть что уроборос робит

тестытестытестытестытестытесты

100 покрытие пожалуйста

Авто деплой на докер-хаб

Обновление шмотки

 @POST("/clothing/create")
  Future<Clothing> updateClothing(
    @Part() int id,
    @Part() String title,
    @Part() String type,
    @Part() String color,
    @Part() List<String> imageUrls,
    @Part() List<File> imageFiles,
  );

линтинг

• black, mypy, flake8, pytest
• travis

Определение самого частого цвета по фото

• определение цвета по картинке
• асинхронная загрузка картинки из распаршенной шмотки
• определение цвета в парсе