Современные технологии баз данных: от In-Memory до решений искусственного интеллекта

Корпоративные приложения: современные требования. Проблемы в аппаратном и программном обеспечении и способы их решения. Характеристики современных корпоративных приложений (OLTP и OLAP системы; хранилища данных; озёра данных; конвейеры данных; компании, управляемые данными).
Словарное кодирование в In-Memory базе данных, понятие энтропии.
Сжатие данных в In-Memory базе данных: префиксное кодирование (Prefix Encoding), разреженное кодирование (Sparse encoding), непрямое кодирование (In-direct encoding), кодирование длин серий (Run-length encoding), кластерное кодирование (Cluster Encoding), дельта-кодирование (Delta encoding).
Методы хранения баз данных: секционирование, мульти-температурное управление данными, фактические и исторические данные.
Операторы манипулирования данными в In-Memory базе данных: вставка, обновление, удаление, "insert only"-подход (представление точки, интервальное представление, хронологические и битемпоральные базы данных).
Построчное и поколоночное размещение данных в In-Memory базе данных: сравнение подходов при реконструкции кортежей. «Компромиссная» модель хранения таблиц PAX (Partition Attributes Across). iHEAP таблицы Postgres. Сравнение подходов при полном сканировании таблицы, шаговом доступе и полном сканировании столбца.
Оператор выборки в In-Memory базе данных: стратегии материализации (возможные стратегии, преимущества и недостатки). Агрегатные функции.
Оператор соединения таблиц Join. Алгоритмы соединения: хешированием, слиянием отсортированных списков, вложенными циклами. Алгоритм многопроходного разделения.
In-Memory СУБД: архитектура, понятие дифференциального буфера и процесс слияния, кеш для агрегатов.
Индексы в In-Memory базе данных, инвертированный индекс, эффективность инвертированного индекса при словарном кодировании.
Логическая и физическая регистрация в In-Memory базах данных. Ведение журнала в случае словарного кодирования. Процесс восстановления.
k-безопасность. Горизонтальное и вертикальное масштабирование. Реплики для рабочей нагрузки. Нетерпеливые и ленивые репликации.
Обработка SQL запросов. In-memory специфичные запросы. Планирование запросов.
Параллелизм на уровне аппаратного обеспечения, параллелизм на уровне программного обеспечения. Распараллеливание SIMD. Законы Амдала и Густавсона-Барсиса. Распараллеливание в In-Memory базах данных.
Управление параллелизмом транзакций. Побочные эффекты параллелизма. Пессимистическая двухфазная блокировка. Мультиверсионное управление параллелизмом. Проблемы архитектуры СУБД: MVCC и внутренний идентификатор (xid) транзакции.
NoSQL: идея NoSQL, модели целостности (BASE vs ACID), теоремы CAP и PACELC. Типы согласованности данных, модель настраиваемой согласованности. Типы хранилищ данных для NoSQL. “Очень быстрый OLTP”.
Базы данных и технология распределенного реестра, блокчейн, дерево Меркла. Блокчейн 2.0. Трилемма масштабируемости.
Подход к разработке БД: «толстая» база данных, база данных как хранилище, база данных как код, платформа бессерверных вычислений. OLTP и большие OLAP. Особенности работы с данными в облаке.
База данных с технологиями ИИ: адаптивное управление, оптимизация запросов, запросы с учетом достоверности. Автономная база данных. Современный стек данных для приложений ИИ.
Векторные базы данных в современных приложениях искусственного интеллекта. Основные аспекты векторных баз данных: метрики, индексирование. Метод инвертированного индексирования файлов (Inverted File Indexing) для оптимизации работы векторных баз данных