Перейти к содержанию

622 гр., все. Статистическое и машинное обучение

Место и время проведения: 4399
Преподаватели: Голяндина Нина Эдуардовна

Выступления и темы

Семинар состоит из докладов студентов на темы, связанные с машинным обучением. На первом занятии обсудим, как будет проходить семинар.

Общая информация по докладам

Базовые материалы –

Можно пользоваться любыми источниками, но важно, чтобы понимание и изложение темы было в том стиле, как написано ниже. Очень часто в machine learning изложение техническое и вытащить оттуда суть непросто. Лекции Воронцова, в целом, в нужном нам стиле. И давайте договоримся: у нас n - число наблюдений, а не число признаков. Число признаков у нас, например, k.

Организация докладов: две команды (1 - Дудник Павел, Брюшинин Максим, темы 1 и 3, 2 - Оленёв Роман, Самарин Игорь, темы 2 и 4). В каждой теме рассматривается применение классического подхода и применение байесовского подхода. Для 3 и 4 тем договоритесь, как разделить Deep Learning по темам относительно равномерно. Имеет смысл начинать искать и читать материалы по своей теме заранее, что было исходно общее понимание, на основе которого будет строиться доклад.

Каждая тема - 2-3 пары подряд. Пока даты расставлены, исходя из двух пар; если будем не успевать, растянем на три пары. Близкий к окончательному вариант слайдов мне нужно присылать за два дня, т.е. не позднее субботы перед вторником.

Вариант организации: на первой паре рассказывается теория, задаются вопросы. На второй паре дорассказывается теория с ответами на вопросы и показывается практика (если тема составная, то можно чередовать теория-практика по частям).

  1. Обучение с учителем, минимизация потерь. Классификация с точки зрения вида функции потерь от отступа, связь с модельным подходом. Общие понятия байесовского подхода, сопряженные распределения. Решающие деревья. Random Forest. Композиция методов. Бустинг. (Команда 1, 24.09, 01.10, 08.10)
  2. Обучение без учителя. Разделение смеси распределений (коротко, как пример обучения без учителя). Кластеризация (повторять то, что было на лекциях, не надо), современные методы, сравнение. Тематическое обучение (Probabilistic LSA). Другие методы работы с текстами, на выбор (Команда 2, 15.10, 22.10, 29.10).
  3. Deep learning, Neural Nets for images (сверточные сети, классификация, сегментация), генеративные NN (Команда 1, 05.11, 12.11)
  4. Neural Nets (NN), глубокое обучение, рекуррентные сети, LSTM и пр. Работа с временными рядами (прогноз) и с текстами. Трансформеры, BERT (Команда 2, 19.11, 26.11, 03.12)

Работа над докладом состоит из трех частей - выступление со слайдами по теор.части, показ практического применения методов, создание конспекта, на основе которого все будут готовиться к экзамену. Каждый должен принять участие и в теории, и в практике. Например, в одонм докладе практика, в другом теория; можно и по подтемам внутри одного доклада. Для практической части нужно выбрать что-то другое по сравнению с предыдущими годами.

Варианты тем со ссылками на слайды (но лучше см. прямо на стр. курса А.И.Коробейникова):

  1. Обучение с учителем. Регрессия. Регуляризация в регрессии – зачем, почему. Разные подходы. PDF1, PDF2 PDF3
  2. Обучение с учителем. Дискриминантный анализ. Логистическая регрессия. Feature selection и extraction. PDF PDF2
  3. Обучение с учителем. Метод опорных векторов. Выбор модели с помощью кросс-валидации. PDF PDF
  4. Обучение без учителя. Разделение смеси распределений. Кластеризация. PDF
  5. Вычислительные аспекты оптимизации. Гладкие функционалы и пр. Метод стохастического градиента как метод оптимизации. Примеры на основе одного из предыдущих методов.
  6. Решающие деревья. Random Forest. PDF
  7. Композиция методов. Бустинг. PDF
  8. Нейронные сети. Общая структура (особый класс функций для оптимизации). Back propagation как вычислительный подход.
  9. Нейронные сети для изображений. Генеративные нейронные сети.
  10. Активное обучение.
  11. Тематическое моделирование (это обучение без учителя).
  12. Глубокое обучение

Структура рассказа о методе ML

  1. Какая практическая задача решается. Пример данных, на основе которых предполагается ее решать.
  2. Если обучение без учителя, то используется базовая модель данных. В этом случае, скорее всего, будет максимизироваться функция правдоподобия. Если с учителем, то используется модель (алгоритм) предсказания и мера для ошибки предсказания, которая будет минимизироваться.
  3. Дальше, теоретически, просто оптимизационная задача и обсуждение метода ее решения. Например, в случае без учителя это м.б. EM-алгоритм. В случае с учителем – метод стохастического градиента. При этом, если исходно в задаче были условия, при сведении задачи к безусловной оптимизации используются теорема Лагранжа или теорема Куна-Такера.
  4. Обсуждение свойств метода оптимизации. Улучшение алгоритма за счет специфики задачи, эвристических приемов.
  5. Возможная регуляризация, которую можно рассматривать как просто изменение оптимизационной задачи в той же модели с целью получать оценки параметров с лучшими свойствами; в частности, для получения нулевых оценок в случае добавления модуля параметра.
  6. Изменение (усложнение или упрощение) рассматриваемой модели данных или предсказывающего алгоритма и переход к пункту 3.
  7. Примеры (могут перемежаться с теорией).

Важно: не надо включать много разных модификаций, слишком вдаваться в подробности. Главное - четко и логично рассказать и отвечать на вопросы на понимание.

Критерии оценивания

Требования к докладу/конспекта (теория)

  1. Внятно рассказана математическая постановка задачи.
  2. Описан бэкграунд задачи (частным случаем чего является, в чем особенность и пр.)
  3. Приведены и формализованы примеры, соответствующие этой постановке задачи.
  4. Описан и объяснен метод решения задачи.
  5. Приведено математическое обоснование метода (привести теор.результат и объяснить).
  6. Приведен (с объяснением) алгоритм решения задачи.
  7. Объяснены особенности реализации алгоритма.
  8. При рассказе понятно, что в данный момент обсуждается, постановка задачи, алгоритм решения, проблемы реализации алгоритма, …
  9. Рассказано, какие проблемы существуют в данном методе/алгоритме и какие есть пути их разрешения.

Требования к докладу/конспекту (практические примеры)

  1. Проведено сравнение методов/моделей.
  2. Понятно, почему выбраны такие метод/параметры.
  3. Понятно, как идет контроль за отсутствием переподгонки и как оценивается точность.
  4. Понятно, как интерпретируются результаты.
  5. Объяснен код/функции, которые используются в примере.