Многомерный анализ данных, 522 гр., лекции

Место и время проведения: 3 пара четверга, ауд. 4526
Преподаватель: Голяндина Нина Эдуардовна

Здесь будут добавляться изменения по сравнению с прошлым годом.

Не будет вопросов 23, 33, 46. В 41 вычеркнута вторая часть (Избыточность).
Добавляется вопрос про ROC-кривые и AUC
В вопросе 9 (Для T^2 критериев: предположения; что происходит и что делать, если они не выполняются) имеется в виду следующее:
здесь идея та же, что и в одномерном случае.
1) Если не выполняется предположение о нормальности, то критерий становится асимптотическим (распределение хи-квадрат в пределе) в условиях конечных четвертых моментов. Т.о., им можно пользоваться, но, чем больше размерность, тем хуже может быть сходимость.
2) Если же не выполняется условие о равенстве ковариационных матриц, а мы используем разновидность критерия, предполагающую их равенство, то критерий становится неверным (ошибка первого рода не равна заданному уровню значимости, даже асимптотически).
3) В случае сбалансированного дизайна (когда объемы двух выборок равны), нарушение условия равенства ковар. матриц не так важно, так как варианты критериев с одинаковыми или разными ковар. матрицами асимптотически эквивалентны.
Вопроса 5 (Разница между доверительной областью в виде квадрата(прямоугольника) и эллипсоида) не будет, но над понимать следующее:
1) этот вопрос является объяснением, зачем проверять гипотезы и строить доверительные области для вектора из математических ожиданий, если уже умеем это делать для каждого из этих мат.ож.
2) Мне это проще объяснить для проверки гипотез. Это в точности проблема множественных тестов - мы умеем проверять каждый тест отдельно, но вопрос, как проверить их все вместе, ограничив вероятность ошибиться хотя бы в одном из них.
3) В общем случае не построить точного критерия для набора тестов. Можно построить только консервативный тест, используя поправки Бонферрони (умножая каждый p-level на число тестов или, что то же самое, разделив уровень значимости на число тестов).
4) Поэтому, чтобы построить точный тест, надо делать что-то особенное. Для вектора из мат. ож. удается построить точный тест в нормальной модели (и асимптотический в более общем случае).
5) Точный тест соответствует построению точной доверительной области (как обычно, гипотеза отвергается, если не попали в доверительную область; доверительный уровень равен 1 минус уровень значимости); для мат. ожиданий это будет доверит.эллипсоид. Если мы будем использовать одномерные доверительные интервалы с учетом поправки Бонферрони для уровня значимости, то их декартовым произведением получим слишком большую доверит. область (прямоугольник), вероятность попасть в которую, вообще говоря, будет больше заданного доверительного уровня.
6) Если компоненты вектора независимы, то можно получить точную доверительную область в форме прямоугольника для вектора из математических ожиданий. Однако, ее площадь будет больше, чем площадь точного доверительного эллипсоида, т.е. и тут прямоугольник окажется хуже.

Вопросы к коллоквиуму (=первая часть экзамена).
Письменный ответ на билет из 3 вопросов, короткая беседа после моей проверки с возможностью доделать, и устный ответ на четвертый вопрос.
(1) вопросов много, но они, в основном, предполагают короткие ответы; (2) никто не списывает.
Коллоквиум состоялся 26 ноября с 11:00, 4399.

Вопросы ко второй части экзамена (то, что не вошло в коллоквиум).

Примеры анализа данных для экзамена.

Формат экзамена¶

Полный экзамен:
1. 4 теор.вопроса, два по первой части, два по второй – ответы написать на листках. На подготовку не более 40 + 40 минут.
2. 2 примера анализа данных (дается распечатка), один по первой части, второй по второй. По ним можно подготовиться некоторое время при мне и потом рассказать устно о том, что там есть, с формулами и объясняя смысл. На подготовку 10+10 минут.

По порядку сдавать так: сначала первая часть, теория+анализ данных, потом вторая часть.
Тем, кто сдал коллоквиум, не надо сдавать два теор.вопроса по первой части. Сразу начинаем с распечатки анализа данных по первой части.

При подготовке можно иметь с собой одинарный тетрадный листок с формулами на одной стороне без нумерации и текста.

15.12.2016, ауд. 4526. ROC-кривые и AUC. Канонический корреляционный анализ. Анализ соответствий (см. про него текст внизу, а также теорию здесь).
08.12.2016, ауд. 4526. Кластерный анализ. Пример 1. Пример 2.
01.12.2016, ауд. 4526. Дискриминантный анализ для классификации. Пример.
24.11.2016, ауд. 4526. Канонический дискриминантный анализ. Пошаговый дискриминантный анализ. Пример.
17.11.2016, ауд. 4526. MANOVA, переход к дискриминантному анализу.
Материал к лекции (прочитайте до лекции, пожалуйста)

10.11.2016, ауд. 4526. Сравнение многомерных средних. Переход к MANOVA

03.11.2016, ауд. 4526. Окончание рассказа о факторном анализе. Переход к многомерным распределениям и гипотезам о сравнении. Для подготовки к занятию нужно разобрать аналогичный материал для одномерного случая. UPD. Добавлены задания, решение которых мне надо прислать. Числа там поставлены произвольные. Если заметите неточности, пишите. UPD. В теорию добавлен маленький кусочек про доверит. интервал.

27.10.2016, ауд. 4526. Факторный анализ. Пример.

20.10.2016, ауд. 4399. Еще немного про АГК и переход к факторному анализу.

13.10.2016, ауд. 4399. Анализ главных компонент + Пример АГК реальных данных.

06.10.2016 Разложение Шмидта. Его частные случаи. Анализ главных компонент. Для подготовки к занятию нужно разобраться в тексте про разложение Шмидта и прислать мне до среды ответы на мини-задания внутри.

29.09.2016 Сингулярное разложение. Можно о нем почитать в приложении к уч. пособию http://www.gistatgroup.com/gus/ssa_an.pdf, начиная со страницы 56.

22.09.2016 Вступительная часть и переход к сингулярному разложению.

Примерная программа¶

Обзор того, что нужно уже знать.
Факты из линейной алгебры. Разложения матриц. Сингулярное разложение.
Анализ главных компонент. Оптимизационная задача. Интерпретация главных компонент. Факторный анализ, модель, оптимизационная задача, интерпретация. Сравнение АГК и факторного анализа.
Многомерные распределения. Расстояние Махаланобиса. Доверительные области.
Параметрические многомерные гипотезы. Гипотеза о значении многомерного среднего (статистика Хотеллинга). Доверительные области для параметров с использование нормально-распределенных несмещенных оценок на основе расстояния Махаланобиса, поиск outliers. Гипотеза о равенстве многомерных средних (независимые выборки). Гипотеза о равенстве средних зависимых признаков (repeated measures), контрасты. Гипотеза о равенстве ковариационных матриц, M-статистика Бокса
Многомерный дисперсионный анализ (MANOVA). Критерии лямбда Уилкса, Пиллая, обобщенный Хотеллинга, критерий максимального корня Роя.
Дискриминантный анализ. Общий подход к решению задачи классификации. Классифицирующие функции, априорные и апостериорные вероятности. Матрица классификации, cross-validation. Нормальная модель, одинаковые и различные ковариационные матрицы. Линейный дискриминантный анализ. Значимость дискриминации, связь с MANOVA. Канонические переменные. Значимость канонических переменных. Факторные веса. Пошаговый дискриминантный анализ.
Канонические корреляции. Canonical roots. Извлеченная дисперсия.
Разложение дисперсии (ковариационной матрицы). Связь между дискриминантным анализом, многомерной множественной регрессией, корреляционным анализом и MANOVA.
Кластерный анализ. Расстояния. Меры связи. Иерархическое дерево. Метод K-средних

Литература к теоретической части¶

По многомерному анализу:
Rencher A., Methods of multivariate analysis. A Wiley-Interscience publication, 2002.
Доп. сведения про Generalized eigenvalue problem.
Про распределения Уилкса и Хотеллинга.
Про анализ соответствий (дипломная работа студента ВШЭ, связь с SVD - стр.37).