Deep Learning
Углубите свои знания в работе с нейросетями, отработаете навыки на практике, добавите 8 проектов в портфолио и обучитесь при поддержке сообщества экспертов и менторов.
Когда: 15 февраля-2 мая
Длительность: 2,5 месяца
Формат: Вебинары, видеолекции, практические задания
Уровень на выходе: Миддл+
Программа курса
Основы нейронных сетей
Познакомитесь с базовыми элементами нейронной сети. Научитесь строить простые модели для решения задач регрессии и классификации.
- Линейная регрессия
- Логистическая регрессия
- Построение простой нейронной сети
Многослойная нейронная сеть
Узнаете принципы построения многослойной нейронной сети. Поймёте, как оценить качество обучения. Познакомитесь с понятием переобучения нейросети, изучите разные методы оптимизации нейронных сетей: градиентный спуск и его основные модификации. Изучите основные способы регуляризации нейронных сетей: ранняя остановка, L1/L2, dropout, batch normalization.
- Многослойный персептрон
- Оценка качества модели
- Градиентный спуск и его модификации
- Регуляризация нейронных сетей
Свёрточные сети
Узнаете, как работает свёрточная операция. Разберётесь, как повысить устойчивость сетей к сдвигам и трансформациям с помощью пулинга (pooling). Познакомитесь с первой свёрточной сетью LeNet.
- Что такое свёрточная операция и как она работает
- Padding и stride
- Pooling
- LeNet
Архитектуры свёрточных сетей
Познакомитесь с различными архитектурами свёрточных сетей: LeNet, AlexNet, VGG, NiN, GoogLeNet, ResNet.
- Архитектуры свёрточных сетей (LeNet, AlexNet, VGG, Network in network (NiN), GoogLeNet, Residual Network (ResNet), DenseNet)
Улучшение качества обучения нейросетей
Научитесь использовать в коде различные методы аугментации и Transfer Learning для улучшения обучения сети.
- Аугментации
- Динамическое изменение learning rate (LR Schedulers)
- Transfer learning: fine tuning, feature extractors
- Архитектуры Feature extractors: VGG, EfficientNet, MobileNet
Рекуррентные сети
Поймёте, как построить языковые модели. Узнаете, зачем нужны рекуррентные нейронные сети и как они работают. Рассмотрите виды рекуррентных нейронных сетей: GRU и LSTM. Сгенерируете текст при помощи нейросети. Узнаете, как строить более глубокие RNN. Познакомитесь с двунаправленными RNN (bidirectional RNN). Узнаете о возможностях Residual Connections для RNN. Изучите архитектуру модели Encoder-decoder, познакомитесь с понятием информационный bottleneck. Потренируетесь решать задачи машинного перевода на основе рекуррентных сетей.
- Языковые модели
- Обучение рекуррентных нейросетей
- GRU и LSTM
- Генерация текста
- Deep RNN
- BiRNN
- Residual Connections
- Encoder-Decoder архитектура
- Машинный перевод
Механизм внимания
Познакомитесь с механизмом внимание (attention) и его основными видами: dot-product, линейная модель, аддитивная модель, self-attention и multi-head attention. Изучите два способа реализации внимания: на скалярном произведении и на MLP. Узнаете, как attention привёл к появлению архитектуры Transformer.
- Виды внимания
- Трансформер
Компьютерное зрение
Изучите основные датасеты и метрики качества для решения задач визуального обнаружения объектов и распознавания изображений. Познакомитесь с подходами к детектированию объектов: Region Based, YoLo, SSD. Узнаете, что такое семантическая сегментация. Познакомитесь с архитектурами SegNet и U-Net. Узнаете различные методы модификации изображений: технология Deep dream, матрица Грама, генерация текстур, Neural style transfer.
- Задача детекции
- Архитектуры Region Based, YoLo и SSD
- Семантическая сегментация
- Архитектуры SegNet и U-Net
- Модификации изображений
Работа с текстом
Познакомитесь с понятием «векторное представление слов» (word embedding) и основными методами построения векторов слов: SVD, Word2vec. Узнаете, что такое transfer learning и как оно используется в NLP. Познакомитесь с основными предобученными текстовыми моделями: ELMo, BERT и его вариациями, GPT. Сможете решать задачи классификации, межъязыкового семантического поиска и генерации продолжения текста.
- Векторные представления слов
- Сингулярное разложение (SVD)
- Word2Wec
- FastText
- Модель ELMo
- BERT и его вариации
- GPT
Генеративные состязательные сети (GAN)
Научитесь применять обычные и вариационные автоэнкодеры и строить архитектуру генеративных состязательных сетей (Generative Adversarial Networks, GAN). Создадите генератор лиц аниме с использованием GAN. Познакомитесь с глубоким обучением с подкреплением.
- Автоэнкодеры
- Вариационные автоэнкодеры (VAE)
- Генеративные состязательные сети (GAN)
- Типы генеративных состязательных сетей
- Проблемы генеративных состязательных сетей
- Глубокое обучение с подкреплением
Итоговый проект
Вы самостоятельно выбираете задачу и тему проекта и работаете над ним под руководством преподавателей курса. В результате защитите диплом перед экспертом.
Стоимость
