Список тем
Биологические нейронные сети, построение математической модели. Искусственные нейронные сети. Задачи, решаемые нейронными сетями.
Модель МакКаллока-Питтса. Нейронный базис, нейронные схемы. Понятие кусочно-линейных, кусочно-постоянных и кусочно-параллельных функций в действительном многомерном пространстве.
Теорема о выразимости нейронных схем. Понятие эквивалентности. Следствие о существовании нейронной схемы нелинейной глубины не более двух.
Теорема о существовании нейронных функций не представимых нейронными схемами нелинейной глубины один. Критерий однослойности нейронных схем.
Задача проверки полноты в пространстве кусочно-параллельных функций.
Теорема о нелинейной сложности нейронных схем без памяти.
Персептрон. Строгая линейная отделимость. Алгоритм Розенблатта. Теорема Новикова.
Алгоритмы обучения (алгоритм обратного распространения ошибки и его вариации), выбор гиперпараметров. Функции потерь.
Разнообразие архитектур нейронных сетей. Свёрточные нейронные сети. Базовые слои и принципы построения сети.
Сложности процедуры обучения нейронных сетей. Затухающие градиенты, градиентный взрыв, переобучение. Регуляризация, слой dropout, пакетная и другие виды нормализации. Подходы к инициализации весов.
Открытые базы данных MNIST, CIFAR, ImageNet, MS COCO, Pascal VOC и др. Платформа Kaggle. Соревнования нейросетевых алгоритмов.
Задача классификации. Основные архитектуры VGG, Resnet, WideResnet, MobileNet, Inception, Xception, ConvNext.
Масштабирование нейронных сетей. Архитектура EfficientNet. Подходы к автоматическому построению архитектур (NAS).
Список источников
Хайкин С. «Нейронные сети: полный курс», Вильямс 2006.
Гудфеллоу Я., Бенджио И. «Глубокое обучение», ДМК Пресс, 2017
Ф. Шолле «Глубокое обучение на Python», Питер, 2018 г.
Емеличев В.А. и др. Лекции по теории графов. – М.: Наука, 1990.
Половников В.С. «Об оптимизации структурной реализации нейронных сетей» диссертация на соискание степени кандидата наук, 2007
O. Russakovsky, J. Deng, H. Su, J. Krause, S. Satheesh, S. Ma, Z. Huang, A. Karpathy, A. Khosla, M. Bernstein, et al. «Imagenet large scale visual recognition challenge», 2014 http://www.image-net.org/
Tsung-Yi Lin, Michael Maire, Serge Belongie, Lubomir Bourdev, Ross Girshick, James Hays, Pietro Perona, Deva Ramanan, C. Lawrence Zitnick, Piotr Dollár «Microsoft COCO: Common Objects in Context» https://arxiv.org/abs/1405.0312 http://cocodataset.org
Everingham, M., Eslami, S. M. A., Van Gool, L., Williams, C. K. I., Winn, J. and Zisserman, A. «The PASCAL Visual Object Classes Challenge: A Retrospective» International Journal of Computer Vision, 111(1), 98-136, 2015 http://host.robots.ox.ac.uk/pascal/VOC/
Lecun, Yann & Bottou, Leon & Bengio, Y & Haffner, Patrick. «Gradient-Based Learning Applied to Document Recognition», 1998. Proceedings of the IEEE. 86. 2278 - 2324. 10.1109/5.726791.
Alex Krizhevsky, Ilya Sutskever, Geoffrey Hinton «ImageNet Classification with Deep Convolutional Neural Networks», NIPS 2012
Karen Simonyan, Andrew Zisserman «Very deep convolutional networks for large scale image recognition», ICLR 2015 https://arxiv.org/abs/1409.1556
Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun «Deep Residual Learning for Image Recognition» https://arxiv.org/abs/1512.03385
Christian Szegedy, Wei Liu, Yangqing Jia, Pierre Sermanet, Scott Reed, Dragomir Anguelov, Dumitru Erhan, Vincent Vanhoucke, Andrew Rabinovich «Going Deeper with Convolutions» Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 1–9, 2015 https://arxiv.org/abs/1409.4842
Christian Szegedy, Vincent Vanhoucke, Sergey Ioffe, Jonathon Shlens, Zbigniew Wojna «Rethinking the Inception Architecture for Computer Vision» https://arxiv.org/abs/1512.00567
Christian Szegedy, Sergey Ioffe, Vincent Vanhoucke, Alex Alemi «Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning» https://arxiv.org/abs/1602.07261
Joseph Redmon, Santosh Divvala, Ross Girshick, and Ali Farhadi «You Only Look Once: Unified, Real-Time Object Detection», ECCV 2016 https://arxiv.org/abs/1506.02640
Joseph Redmon, Ali Farhadi «YOLOv3: An Incremental Improvement»
Ross Girshick, Jeff Donahue, Trevor Darrell, Jitendra Malik «Rich feature hierarchies for accurate object detection and semantic segmentation» https://arxiv.org/abs/1311.2524
Ross Girshick «Fast R-CNN» https://arxiv.org/abs/1504.08083
Shaoqing Ren, Kaiming He, Ross Girshick, Jian Sun «Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks» https://arxiv.org/abs/1506.01497
Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, Piotr Dollár «Focal Loss for Dense Object Detection» https://arxiv.org/abs/1708.02002
Olaf Ronneberger, Philipp Fischer, Thomas Brox «U-Net: Convolutional Networks for Biomedical Image Segmentation» https://arxiv.org/abs/1505.04597
Kaiming He, Georgia Gkioxari, Piotr Dollár, Ross Girshick «Mask R-CNN» https://arxiv.org/abs/1703.06870
Vijay Badrinarayanan, Alex Kendall, Roberto Cipolla «SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation» https://arxiv.org/abs/1511.00561
Jia, Yangqing and Shelhamer, Evan and Donahue, Jeff and Karayev, Sergey and Long, Jonathan and Girshick, Ross and Guadarrama, Sergio and Darrell, Trevor «Caffe: Convolutional Architecture for Fast Feature Embedding» https://arxiv.org/abs/1408.5093 http://caffe.berkeleyvision.org/
James Kirkpatrick, Razvan Pascanu, Neil Rabinowitz, Joel Veness, Guillaume Desjardins, Andrei A. Rusu, Kieran Milan, John Quan, Tiago Ramalho, Agnieszka Grabska-Barwinska, Demis Hassabis, Claudia Clopath, Dharshan Kumaran, Raia Hadsell “Overcoming catastrophic forgetting in neural networks” https://arxiv.org/abs/1612.00796
Friedemann Zenke, Ben Poole, Surya Ganguli “Continual Learning Through Synaptic Intelligence” https://arxiv.org/abs/1703.04200
Andrei A. Rusu, Neil C. Rabinowitz, Guillaume Desjardins, Hubert Soyer, James Kirkpatrick, Koray Kavukcuoglu, Razvan Pascanu, Raia Hadsell “Progressive Neural Networks” https://arxiv.org/abs/1606.04671
Zhizhong Li, Derek Hoiem “Learning without Forgetting” https://arxiv.org/abs/1606.09282
Jiankang Deng, Jia Guo, Yuxiang Zhou, Jinke Yu, Irene Kotsia, Stefanos Zafeiriou “RetinaFace: Single-stage Dense Face Localisation in the Wild” https://arxiv.org/abs/1905.00641
Jiankang Deng, Jia Guo, Niannan Xue, Stefanos Zafeiriou “ArcFace: Additive Angular Margin Loss for Deep Face Recognition” https://arxiv.org/abs/1801.07698
