- классы и функции бибилиотеки datasets и https://huggingface.co/docs/datasets/v2.13.1/en/package_reference/main_classes
- база датасетов https://huggingface.co/datasets
- как устроены датасеты и что такое Memory-mapping https://huggingface.co/docs/datasets/about_arrow
- разница iterable и map датасетов https://huggingface.co/docs/datasets/about_mapstyle_vs_iterable
- быстрый гайд по обработке данных https://huggingface.co/docs/datasets/process
- обработка батчами https://huggingface.co/docs/datasets/about_map_batch
- все что вы хотите знать о трансформерах https://huggingface.co/docs/transformers/index
- база моделей https://huggingface.co/models
- пример страницы документации модели (BERT) https://huggingface.co/docs/transformers/v4.33.0/en/model_doc/bert#overview
- быстрый старт в pytorch lightning https://lightning.ai/docs/pytorch/stable//starter/introduction.html
- настройки обучения https://lightning.ai/docs/pytorch/stable//common/trainer.html
- использование pytorch lightning с torchmetrics https://torchmetrics.readthedocs.io/en/stable/pages/lightning.html
- описание работы с данными в torch https://pytorch.org/docs/stable/data.html
- логгирование https://www.comet.com/