Современные методы обработки данных, I
Задача об оптимальной эволюции вдоль дерева (ациклической сети): данные в листьях дерева реконстрируются в нелистовых вершинах.
Дискретная эволюция как марковская (или близкая к ней) цепь.
Задача о классификации данного множества точек в многомерном вещественном пространстве (иными словами, столбцов неотрицательной числовой матрицы данных). Минимизируется функционал, который выражает, что для каждого кластера «близость» точек внутри него значимо больше, чем близость точек из кластера к точкам вне кластера.
В данных удаление скрытых параметров. Преобразование данных, приводящее к минимальной зависимости для строки её дисперсии от её среднего.
Выбор характерных признаков для кластеризации.
Переход к оптимальным и информативным координатам исходных точек.
Переход к графу kNN: вершины – исходные точки, рёбра соединяют вершины, у которых окрестности вершин пересекаются, а рёбрам приписаны ранговые веса.
Максимизация функции модулярности, аргумент которой – текущая кластеризация вершин графа.
Алгоритм такой максимизации.
Характерные признаки кластера в оптимальной кластеризации.
Понижение размерности исходных данных до плоскости (матрица типично имеет более 30 тысяч строк и более 50 тысяч столбцов).
Fackeldey, K., Sikorski, A. & Weber, M. Spectral clustering for non-reversible Markov chains. Comp. Appl. Math. 37, 6376–6391 (2018). https://doi.org/10.1007/s40314-018-0697-0
Страница спецкурса: http://logic.math.msu.ru/staff/lyubetsky/mmdp/.
Слушатели должны зарегистрироваться по адресу gorbunov@iitp.ru, сообщив о себе: ФИО полностью, факультет, группу, свой email и мобильный.
Компьютерная обработка больших данных — универсальное направление исследований во всех областях естественных и, более того, гуманитарных наук. Такая обработка опирается на методы современной математики, от алгоритмов до геометрии. Используемые здесь методы/алгоритмы эвристические, интуитивно построенные, для которых почти неизвестны доказательства их корректности. Более того, обычно отсутствуют даже математические постановки задач, которые решают предлагаемые методы и алгоритмы; сами задачи понимаются интуитивно, на основе компьютерных экспериментов и опыта применения в данной прикладной области. Фактически эти решения представлены компьютерным кодом, который широко применяется. Будут рассказаны, так называемые, методы Seurat и CellRank, широко применяемые в прикладных задачах. Также обсуждаются проблемы обоснования таким образом предлагаемых решений. Будут предложены компьютерные вычислительные задачи, включая реальные прикладные задачи, для курсовых и дипломных работ; аспирантских тем.
Предварительные знания не предполагаются; они сообщается на лекциях.
После каждой лекции проходит факультативный семинар и обсуждение задач.