fulyankin / deep_learning_masha_book

Привет, Олимпийский! Это моя ЧСВ-страничка 👋

Меня зовут Филипп Ульянкин. Я работаю в сфере DS и довольно много преподаю.

• Моё резюме
• Мой лайфстайл-канал в tg
• Канал с моими лекциями на youtube

Мои курсы:

• Прикладная статистика (2021): полноценый курс по матстату, записанный для курсеры видео, материалы
• Машинное обучение (2023/2024): семинары на ФКН ВШЭ у одной из групп, лектор на курсе Евгений Соколов МО-1, МО-2, материалы
• Yet Another Matstat Course (2024): курс по терверу и матстату в магистратуре МОВС ВШЭ видео базовой групы, видео продвинутой групы, материалы
• Yet Another Math for DS Course (2023): курс по математике для DS в магистратуре МОВС ВШЭ видео, материалы
• Анализ данных на python (2024): вводный курс по анализу данных на ФЭН ВШЭ видео, материалы
• Основы программирования на python (2023): вводный курс по программированию на ФЭН ВШЭ видео, материалы
• Глубинное обучение и вообще (2023): курс по нейросеткам для эконома РАНХиГС видео, материалы
• LaTeX (2021): введение в тех для всех желающих видео, материалы
• Введение в DS для маркетологов (2020): материалы

Открытые лекции и выступления на конференциях:

• Разговор про нейросети в образовании на YAC/e (2023)
• Гостевые лекции на ИАД про АБ-тесты и CUPED (2023)
• Тысяча и одна ошибка в DS (2021)
• Про настоящие угрозы ИИ (2021)
• Тысяча и одна ошибка в АБ (2022)

Мои проекты:

• Книга с простыми задачками по DL
• Мои карты разных городов: Стамбул Тбилиси Белград

Публикации и лонгриды:

• Блог в vas3k-club: Как стать дата-шрушером aka вкатиться в DS (2021)
• Блог в vas3k-club: Как ChatGPT обесценил наш курс по питону (2023)
• RUSSIAN JOURNAL OF MONEY & FINANCE: Forecasting Russian Macroeconomic Indicators Based on Information from News and Search Queries (2020): english version of the paper, russian version of the paper, repository with code

Контакты:

• Telegram: @ppilif
• email: [email protected]
• Instagram: @ppilif

Весь контент, созданный мной распространяются на правах лицензии MIT License либо на правах лицензии WTFPL на ваш выбор. Материалы публикуются как общественное достояние.

deep_learning_masha_book's Issues

Issue on page /problem_set_01_just_function/problem_08.html

В системе к решению 8 б) пара опечаток.

Issue on page /problem_set_03_backprop/problem_02.html

Листочек 3: алгоритм обратного распространения ошибки. 2. Придумываем бэкпроп

В решении - [часть г) Выпишите все производные в том виде, в котором их было бы удобно использовать для алгоритма обратного распространения ошибки, а затем, сформулируйте сам алгоритм. Нарисуйте под него удобную схемку]
присутствует ошибка.

А именно:

h₂ = o₁ * w₂, следовательно
∂(h₂)/∂(w₂) = ∂(o₁*w₂) / ∂(w₂) = o₁

На графе, который изображен выше данной выкладки все показано верно

Добавить примеры на страницу /problem_set_04_logloss/problem_07.html

Issue on page /problem_set_05_conv/problem_07.html

К пункту д) предлагаю свою формулу - она вроде рабочая, в отличие от той, которая там висит.
Пусть

Тогда если a % s != 0, то

иначе (то есть если a % s == 0) в числителе просто не нужно добавлять единицу.

Написать решение для 4 задачи на странице /problem_set_01_just_function/problem_08.html

Не понятно как кодируется пол на /problem_set_01_just_function/problem_02.html

Когда прочитал не понял, как кодируется пол. Температура просто подается. Митинг либо есть, либо нет, поэтому числа 1 и 0 соответственно. А как мы кодируем пол? 0 - мужчина, а 1 - женщина? Или 0 - женщина, а 1 - мужчина? Пришлось смотреть решение, чтобы понять. Надо добавить к описанию задачи пояснение.

Создать лист про эмбединги

/problem_set_08_embeddings/intro_08.html

Возможное содержание:

• Записать разные модели как автокодировщик:
  • pca
  • картинки
  • w2v
  • node2vec
  • elmo
  • и тд...
• Посчитать число параметров в fasttext
• Энкодер декодер с какими-нибудь свойствами для расстояний (типо все лежат в какой-нибудь залупе и тп)
• Посчитать что-нибудь в w2v и пооценивать параметры
• Что-нибудь про классические механизмы внимания в автопереводах

Issue on page /problem_set_01_just_function/intro_01.html

Issue on page /problem_set_10_matrix_diff/problem_01.html

В условиях везде написано, что x размера 1 x n, но на самом деле он n x 1. В решениях всё правильно.

Issue on page /problem_set_10_matrix_diff/problem_01.html

Привет, нашел неточность в размерностях.
В тексте размерность векторов указана неверно, а в решениях - правильно:

Issue on page /problem_set_03_backprop/problem_06.html

Ошибка в решении, ну или условии - в условии во втором наблюдении y = 0, а в первом y = 1. А в решении наоборот.
Можно конечно пересчитать для такого условия, но тогда на первом шаге веса никак не поменяются, так как L = (0 - 0)^2.
Легче просто в условии y поменять местами, тогда решение будет правильным.

Дополнить лист по рекуррентным сетям

Содержание:

• Написать лист про взрыв градиентов (/problem_set_07_rnn/problem_03.html)
• Написать решение
  • последним трем задачам (/problem_set_07_rnn/problem_04.html)
  • /problem_set_07_rnn/problem_05.html
  • /problem_set_07_rnn/problem_06.html
  • /problem_set_07_rnn/problem_07.html

Создать лист про трансформеры

/problem_set_09_transformers/intro_09.html
Содержание - придумывается