Deep Learning Engineer (Инженер глубокого обучения)

Программа «Deep Learning Engineer (Инженер глубокого обучения)» нацелена на подготовку студентов к продвинутым курсам в области NLP, CV и обработки аудио, предоставив им твердую базу в области глубокого обучения (DL). За 4 месяца обеспечим понимание основных концепций и навыков, необходимых для работы с различными задачами глубокого обучения в мультидоменной среде.

• Погрузитесь в тему Deep Learning. Изучите методы обучения глубоких нейросетей. Получите хорошую базу в области глубокого обучения (DL) для дальнейшего освоения темы на курсе.
• Поймете принципы сборки нейросети. Научитесь работать с функциями потерь в PyTorch. Узнаете, как выстроить процесс обучения нейронной сети в рамках конвейера глубинного обучения (пайплайна DL).
• Освоите разные методы оптимизации. Узнаете, что такое эксперименты DL. Научитесь решать задачи классификации табличных данных.
• Начнете знакомиться с задачами CV. Узнаете, как работать с изображениями, используя нейросети. Изучите концепт GAN.
• Познакомитесь с задачами NLP (обработка текстов). Поймете, как работать с текстом. Начнете изучение рекуррентных нейросетей.
• Узнаете, что такое LLM (большие языковые модели) сети, и как с ними работать. Научитесь работать с нейросетью в облаке. Поймете процесс деплоя (развертывания) в DL.
• Узнаете, чем отличаются задачи обработки текстов от других задач DL. Изучите структуру решения задач обработки текстов. Поймете принципы кодирования слов.
• Узнаете простейшие методы решения задач классификации и их недостатки. Научитесь решать простейшие задачи классификации.
• Поймете отличия задач генерации текста от классификации. Изучите устройство n-gram модели и ее недостатки. Узнаете, как устроены рекуррентные сверточные сети.
• Узнаете все о недостатках RNN и о том, как нивелировать их с помощью LSTM. Освоите различные методы сэмплирования для разных ситуаций.
• Изучите различные способы уменьшения размеров модели и поймете, как применять их на практике.
• Узнаете, чем BERT и GPT отличаются от Трансформера. Научитесь решать задачи превода текста.
• Поймете, чем дообучение лучше обучения с нуля. Узнаете, чем отличаются способы дообучения. Научитесь применять предобученные модели для решения downstream задач (задач, для которых дообучается или используется предобученная модель).
• Познакомитесь со свойствами больших предобученных моделей. Научитесь дообучивать модели в парадигме PEFT
• Поймете отличия языкового моделирования от seq2seq задач. Изучите ценность механизма внимания. Вникнете в суть архитектуры трансформера.
• Поймете причины ограничения длины контекста трансформерных моделей. Изучите способы уменьшения сложности применения модели. Узнаете, какие существуют способы увеличения длины контекста. Научитесь увеличивать длину контекста предобученной модел