422 гр., спец. СМ. Регрессионный анализ в статистической теории обучения

Место и время проведения: ?
Преподаватель: Голяндина Нина Эдуардовна

Спецкурс будет состоять из двух частей, теоретической и практической.
2026: Вопросы к теоретической части. На зачете дается три вопроса, один из 1-5, второй из 6-17, третий с 18-26. Для третьего вопроса можно приготовить листок, на который выписать нужные формулы из книги Демиденко - им можно будет пользоваться при подготовке ответа (на каждый вопрос по тетрадному листку с одной стороны не слишком мелким почерком).

Содержание и вспомогательные материалы¶

Однофакторный дисперсионный анализ (one-way ANOVA)
Множественные тесты (FWER) (доказательство для Holm algorithm) и множественные сравнения
FDR и алгоритм BH (для независимых или положительно коррелированных тестов) https://en.wikipedia.org/wiki/False_discovery_rate
Множественная линейная регрессия (доп.файл)
AIC/BIC (Черновик короткого описания)
Метод Гаусса-Ньютона https://www.youtube.com/watch?v=Kln0ZQ7sX8k
Общий подход к glm (generalized linear regression)

Семи/Вебинары¶

TBA

Литература к теоретической части¶

Немного про множественную регрессию (автор - Цыплаков А.А.): файл
Еще про регрессию полезная книга Демиденко. Линейная и нелинейная регрессии. 1981.

Практическая часть¶

Данные для задания те же, что были в осеннем семестре.

Комментарии к выполнению регрессионного анализа данных (план рассказа)¶

О регрессии в R (TODO)¶

Показываете данные и объясняете, как готовили их к последующему применению линейной регрессии.
Задаете зависимые и ‘независимые’ переменные (регрессоры), не забываете обратить внимание на выбор способа обработки пропущенных наблюдений, функция lm.
Интерпретируете результаты регрессии, включая результат lm.beta (в частности, о разнице между b и beta, о значимости и пр.).
Далее есть три проблемы, из-за которых результаты регрессии могут быть неправильными – линейная модель регрессии не соответствует данным, в данных могут быть сильно зависимые «независимые» переменные и также могут быть outliers. Если данные были предварительно хорошо подготовлены, то проблемы с outliers там менее вероятны. Поэтому сначала можно заняться проблемой зависимости. В общем случае, нет строгой рекомендации, в каком порядке нужно решать перечисленные проблемы.
Сначала объясняете, как строятся доверительные интервалы и двумерные доверительные области. На примере пары признаков строите двумерный доверительный интервал для пары значащих коэффициентов регрессии, интерпретируете: (1) оба признака влияют на результат согласно оценкам коэффициентов регрессии перед ними: или (2) признаки вместе сильно влияют, но не различить, какой из них больше; или (3) непонятно, или оба признака слабо влияют, или оба влияют сильно.
На примере с двумя «независимыми» признаками пишете формулы и показываете, как корреляция между признаками влияет на качество оценок регрессии.
Пусть вы нас убедили, что коррелированность «независимых» признаков – это плохо. Поэтому нужно избавляться от лишних, избыточных, признаков. Сделаем это вручную на основе таблицы Redundancy. Там «независимые переменные» сравниваются по двум критериям - независимость от других «независимых» признаков и зависимость от зависимой переменной. Объясняете, что означают столбцы, что делать, если эти критерии дают противоречивые рекомендации, решаете, какой признак лучше убрать первым.
Убираете вручную на основе Redundancy несколько признаков и смотрите, что меняется (R, adjusted R, значимость регрессии, значимость коэффициентов регрессии, независимость «независимых» переменных, AIC).
Далее переходите к автоматической пошаговой регрессии по AIC. По результатам определяете, сколько признаков оставить. Сравниваете результаты Forward и Backward вариантов.
Строите обычную регрессию по выбранному числу признаков. Сначала смотрите на нормальность остатков (зачем нужно на это смотреть?), затем смотрите на график Predicted vs Residuals. Как по нему понять, адекватна ли линейная регрессия? Как будет выглядеть график, если на самом деле была квадратичная зависимость (в случае одной независимой переменной)? Как может повлиять на этот график выбор Pairwise deletion для пропущенных наблюдений?
Далее переходите к поиску outliers. Сначала смотрите на скаттерплот Residuls vs Deleted Residuals. Нужно объяснить, что этот такое, что откладывается по осям, как там найти outliers.
Затем смотрите на разные меры, например, outliers по Куку и по Махаланобису (в пространстве регрессоров). Объясняете, что это такое, по отношению к чему это outliers. Умеете приводить пример, где, в случае одной независимой переменной, находится outliers по Куку, но не по Махаланобису, и наоборот.
Итог: результат линейной регрессии, для которой проверена адекватность модели, значимость, отсутствие outliers, проинтерпретированы коэффициенты регрессии. Спрогнозируйте что-нибудь по построенной регрессионной модели, посмотрите на доверительные и предсказательные интервалы.

Рассказы об анализе данных¶

Так было в 2024:

28.03 — все начинают рассказывать про линейную регрессию на своих данных (одна пара)

Планы:
04.04 - продолжаются рассказы (нужно уметь объяснять теорию)

11.04 - окончание рассказов, допуск по 6 и 7 семестрам.

18.04 - первая попытка сдачи теор.зачета

25.04 - при необходимости, вторая попытка сдачи.