Перейти к содержанию

622 гр., все. Статистическое и машинное обучение

Место и время проведения: ?
Преподаватели: Голяндина Нина Эдуардовна

Выступления и темы

Семинар состоит из докладов студентов на темы, связанные с машинным обучением. На первом занятии обсудим, как будет проходить семинар.

Общая информация по докладам

Базовые материалы –

Можно пользоваться любыми источниками, но важно, чтобы понимание и изложение темы было в том стиле, как написано ниже. Очень часто в machine learning изложение техническое и вытащить оттуда суть непросто. Лекции Воронцова, в целом, в нужном нам стиле. И давайте договоримся: у нас n - число наблюдений, а не число признаков. Число признаков у нас, например, k.

Для обсуждения: вариант, если три команды и 6 больших тем (порядок докладов важен):

  1. Обучение с учителем. Регрессия. Регуляризация в регрессии – зачем, почему. Разные подходы. Feature extraction and Feature selection. (Команда 1, 21.09, 28.09)
  2. Обучение с учителем. Классификация. Дискриминантный анализ. Логистическая регрессия. Метод опорных векторов. Выбор модели с помощью кросс-валидации. Метод стохастического градиента (Команда 2, 05.10, 12.10)
  3. Решающие деревья. Random Forest. Композиция методов. Бустинг. (Команда 3, 19.10,26.10)
  4. Обучение без учителя. Разделение смеси распределений. Кластеризация. Тематическое обучение (Probabilistic LSA). (Команда 1, 02.11, 09.11)
  5. Neural Nets (NN), с элементами Deep Learning (Команда 2, 16.11, 23.11)
  6. Deep learning, Neural Nets for images (NN) (Команда 3, 30.11, 07.12)

Работа над докладом состоит из трех частей - выступление со слайдами по теор.части, показ практического применения методов, создание конспекта, на основе которого все будут готовиться к экзамену. Роли в двух докладах должны быть разные, не менее одного раза должно быть выступление с теорией или практикой. Для практической части нужно выбрать что-то другое по сравнению с предыдущими годами.

Варианты тем со ссылками на слайды:

  1. Обучение с учителем. Регрессия. Регуляризация в регрессии – зачем, почему. Разные подходы. PDF1, PDF2 PDF3
  2. Обучение с учителем. Дискриминантный анализ. Логистическая регрессия. Feature selection и extraction. PDF PDF2
  3. Обучение с учителем. Метод опорных векторов. Выбор модели с помощью кросс-валидации. PDF PDF
  4. Обучение без учителя. Разделение смеси распределений. Кластеризация. PDF
  5. Вычислительные аспекты оптимизации. Гладкие функционалы и пр. Метод стохастического градиента как метод оптимизации. Примеры на основе одного из предыдущих методов.
  6. Решающие деревья. Random Forest. PDF
  7. Композиция методов. Бустинг. PDF
  8. Нейронные сети. Общая структура (особый класс функций для оптимизации). Back propagation как вычислительный подход.
  9. Нейронные сети для изображений.
  10. Активное обучение.
  11. Тематическое моделирование (это обучение без учителя).
  12. Глубокое обучение

Структура рассказа о методе ML

  1. Какая практическая задача решается. Пример данных, на основе которых предполагается ее решать.
  2. Если обучение без учителя, то используется базовая модель данных. В этом случае, скорее всего, будет максимизироваться функция правдоподобия. Если с учителем, то используется модель (алгоритм) предсказания и мера для ошибки предсказания, которая будет минимизироваться.
  3. Дальше, теоретически, просто оптимизационная задача и обсуждение метода ее решения. Например, в случае без учителя это м.б. EM-алгоритм. В случае с учителем – метод стохастического градиента. При этом, если исходно в задаче были условия, при сведении задачи к безусловной оптимизации используются теорема Лагранжа или теорема Куна-Такера.
  4. Обсуждение свойств метода оптимизации. Улучшение алгоритма за счет специфики задачи, эвристических приемов.
  5. Возможная регуляризация, которую можно рассматривать как просто изменение оптимизационной задачи в той же модели с целью получать оценки параметров с лучшими свойствами; в частности, для получения нулевых оценок в случае добавления модуля параметра.
  6. Изменение (усложнение или упрощение) рассматриваемой модели данных или предсказывающего алгоритма и переход к пункту 3.
  7. Примеры (могут перемежаться с теорией).

Важно: не надо включать много разных модификаций, слишком вдаваться в подробности. Главное - четко и логично рассказать и отвечать на вопросы на понимание.

Критерии оценивания

Требования к докладу/конспекта (теория)

  1. Внятно рассказана математическая постановка задачи.
  2. Описан бэкграунд задачи (частным случаем чего является, в чем особенность и пр.)
  3. Приведены и формализованы примеры, соответствующие этой постановке задачи.
  4. Описан и объяснен метод решения задачи.
  5. Приведено математическое обоснование метода (привести теор.результат и объяснить).
  6. Приведен (с объяснением) алгоритм решения задачи.
  7. Объяснены особенности реализации алгоритма.
  8. При рассказе понятно, что в данный момент обсуждается, постановка задачи, алгоритм решения, проблемы реализации алгоритма, …
  9. Рассказано, какие проблемы существуют в данном методе/алгоритме и какие есть пути их разрешения.

Требования к докладу/конспекту (практические примеры)

  1. Проведено сравнение методов/моделей.
  2. Понятно, почему выбраны такие метод/параметры.
  3. Понятно, как идет контроль за отсутствием переподгонки и как оценивается точность.
  4. Понятно, как интерпретируются результаты.
  5. Объяснен код/функции, которые используются в примере.