okatanaaa / ds_samu

Материалы курса "Инструменты анализа данных" 2022

Для изучения курса вам потребуются:

• Python 3: https://www.python.org/
• Библиотеки
• numpy
• pandas
• sklearn
• matplotlib
• Jupyter-notebook

Лабораторные работы

• Информация для группы 6306 (обновляется)
• Порядок сдачи лабораторных работ для групп 6131, 6132, 6133

0. NumPy
1. Pandas
2. Визуализация данных
3. Классификация в sklearn (многоклассовая, бинарная)
4. Деревья решений
5. Catboost (классификация, регрессия)
6. Линейная регрессия в sklearn
7. Основы tensorflow
8. Классификация/регрессия в tensorflow
9. Деревья решений в tensorflow
10. Tensorboard - средство визуализации в tensorflow
11. Классификация текстов (с помощью TfIdf + LogisticRegression)
12. Кластеризация
13. Понижение размерности признакового пространства

Требования к датасетам

• Наличие числовых признаков, не только категориальных
• Не использовать датасеты из лекций, titanic и iris датасеты
• Датасеты не должны повторяться
• Датасет должен быть указан в таблице

Требования к оформлению лабораторных работ:

• Лабораторные работы выполняются в jupyter-блокнотах, достаточно загрузить блокнот из данного репозитория и изменить имя файла
• Необходимо комментирование кода и результатов

Датасеты:

Откуда брать датасеты для работ?

• Встроенные датасеты в sklern
• Google-поиск по датасетам

Репозитории с датасетами:

• Kaggle (как начать работу в Kaggle: руководство для новичков в Data Science)
• Материалы с курса OpenDataScience или тут
• Датасеты университета Калифорнии
• Учебные датасеты для R
• Датасеты от FiveThirtyEight
• Подборка на habr
• Подборка на Reddit
• Ещё подборка
• И ещё подборка

Всяческие открытые данные:

• Списки источников открытых данных от Яндекса
• Портал открытых данных Российской Федерации.
• Портал открытых данных правительства Москвы
• Открытые данные Сбербанка
• Отктытые данные минфина
• Отктытые данные минкульта

Полезные ссылки

• Синтаксис markdown для Jupyter
• NumPy cheatsheet
• Essential Cheat Sheets for deep learning and machine learning researchers