Инженер данных

Программа «Инженер данных» предназначена для аналитиков, инженеров данных, BI- и бэкенд-разработчиков. За 5 месяцев онлайн-обучения узнаете, как подбирать эффективные инструменты под любые задачи обработки данных, освоите актуальные для сферы инструменты и защитите проект, которым вы сможете дополнить свое резюме.

• Data Warehouse — централизованное хранилище данных из разных источников. Познакомимся с его верхнеуровневой логической архитектурой, рассмотрим её основные компоненты и разберём на практике разные подходы к проектированию детального слоя DWH (
• Начнём погружение в инженерию данных со знакомства с базами данных: реляционными и MPP (с массово-параллельной обработкой данных). Рассмотрим их архитектуру, обсудим популярные решения и узнаем, в каких случаях MPP СУБД оказываются лучше тради
• ETL — это процесс извлечения, преобразования и загрузки, который является ключевым в управлении хранилищами данных. Рассмотрим принципы и основные этапы его построения. Познакомимся с популярным инструментом Airflow, подробно разберём его осно
• Познакомимся с механизмами распределённого хранения больших данных на базе Hadoop, разберём основные паттерны реализации их распределённой обработки. Рассмотрим вопросы отказоустойчивости и восстановления после сбоев. Поговорим о потоковой обр
• Для эффективной отработки навыков в курсе «Инженер данных» есть промежуточный практический проект, который воссоздает процессы извлечения, преобразования и загрузки (etl-процессы) в Airflow крупной двухуровневой платформы данных. Проект максим
• Рассмотрим облачные решения и инструменты для построения хранилища (DWH) и озера (Data Lake) данных. Познакомимся с Kubernetes и научимся применять его для работы с данными. Поработаем с облаком на практике, рассмотрим процесс установки и наст
• Рассмотрим основные принципы работы с данными с точки зрения их визуализации и научимся смотреть на данные глазами их потребителя. Познакомимся с Tableau — гибким и мощным BI-инструментом. Узнаем, как он взаимодействует с базами данных, и пост
• Познакомимся с теорией распределённого машинного обучения. Научимся работать с популярным модулем Spark ML и рассмотрим подходы к обучению и применению моделей на больших данных.
• В работе инженеры часто сталкиваются с подготовкой данных для обучения моделей машинного обучения. Рассмотрим инструменты для построения циклов машинного обучения (ML-пайплайнов), версионирования набора данных, организации учёта и трекинга мод
• На практике часто приходится иметь дело с разными данными и огромным числом интеграций и процессов, выполняющих над ними те или иные преобразования. Познакомимся с популярными подходами к управлению данными, обсудим инструменты для контроля ка