Математическое обеспечение высокопроизводительных вычислений

Введение в предмет «Высокопроизводительные вычисления» (HPC). Вычислительное ядро программы и модель вычислительной системы.
Основные пути повышения производительности программ. Эквивалентные преобразования программ. Граф потока данных (DataFlow).
Принципы алгоритмической и низкоуровневой оптимизации базовых вычислительных операций. Быстрые вычисления как наука
Анализ производительности программного обеспечения путем изучения машинного кода. Профилирование программного обеспечения.
Статическое и динамическое распараллеливание программ. Масштабируемость программ и гиперлинейное ускорение.
Физический и логический параллелизм. Процессы, потоки, "тасклеты" и прочие абстракции в языках программирования.
Организация обмена данными между процессами. Общая память и MPI. Активные сообщения. Latency hiding.
Вопросы синхронизации счета. Гонки и взаимные блокировки. Атомарные операции. Транзакционная память.
Особенности распределенных вычислений. Асинхронный ввод/вывод. Облачные вычислительные платформы и GRID-системы.
Принципы эффективного использования кеш-памяти в многопоточных программах. Many-core процессоры и VLIW-архитектуры.
Векторизация вычислений и использование SIMD-ускорителей для параллельных вычислений. Расширения AVX2 и FMA.
Технологии CUDA и OpenCL: общие черты и различия технологий. Архитектурные особенности графпроцессоров.
Динамический параллелизм в технологиях CUDA и OpenCL. Параллельные диалекты языков C/C++. Языки Charm++ и T++.
Гибридные вычислительные системы и поддержка выгрузки (offloading) вычислений в специализированных компиляторах.
Специализация программ, частичные вычисления и супероптимизация. Мемоизация (табулирование) результатов вычислений.
Реконфигурируемые вычислительные системы на основе программируемых (FPGA) и заказных (ASIC) микросхем.
Обеспечение отказоустойчивости счета на больших суперЭВМ. Операционный недетерминизм и отказоустойчивые алгоритмы.