Математические основы методов моделирования, анализа данных и машинного обучения

Предмет машинного обучения, примеры задач и областей приложения. Регрессия. Таксономия. Классификация. Типы ошибок. Обобщающая способность классификатора. Принцип минимизации эмпирического риска. Недообучение. Переобучение.
Структурно-лингвистический подход к распознаванию образов.
Статистические методы машинного обучения. Байесовская классификация. Наивный байесовский классификатор. Максимальный апостериорный критерий. Критерий максимального правдоподобия. Байесовские классификаторы для нормально распределенных классов при различной структуре матрицы ковариации.
Методы оценивания. Параметрическое оценивание. Метод максимума правдоподобия. Байесовское оценивание. Непараметрическое оценивание. Оценивание ядерным сглаживанием. Окна Парзена. Гладкие ядра. Оценка многомерной плотности.
Деревья решений. Основные понятия. Классы решаемых задач: описание данных, классификация, регрессия. Общий алгоритм построения дерева решений. Критерии выбора наилучшего атрибута: прирост информации, относительный прирост информации, индекс Гини. Правила остановки разбиения дерева. Обрезание дерева. Обучение на данных с пропусками.
Корреляционный анализ. Корреляция признаков и структура данных. Формальная и эффективная размерность данных. Структура и шум в данных. Понижение размерности данных. Метод главных компонент. Графическая интерпретация метода главных компонент. Критерии выбора количества главных компонент.
Регрессия: линейная и нелинейная, парная и множественная. Метод наименьших квадратов. Теорема Гаусса-Маркова. Обобщенный метод наименьших квадратов. Рекурсивный метод наименьших квадратов. Анализ регрессионных остатков. Графическая проверка линейности, гомоскедастичности. Объясненная и необъясненная вариация. Коэффициент детерминации. Робастная регрессия. Обобщения и альтернативы МНК. Нелинейная регрессия.
Кластеризация, кластеризация как классификация без учителя. Меры сходства и меры различия образов. Критерии качества кластеризации. Методы кластеризации в машинном обучении.
Комитетные методы распознавания образов, теоретические предпосылки. Ансамбли моделей. Последовательные и параллельные методы комитетов.
Нейронные сети. Перцептрон Розенблатта. Многослойный перцептрон. Карты Кохонена. Сети Хопфилда. Методы обучения нейросетей. Метод опорных векторов.
Машинное обучение и теория Вапника-Червоненкиса. Принцип структурной минимизации риска. Метод опорных векторов. Политика назначения штрафов. Ядерные преобразования. Регрессия опорных векторов.