Data Engineer

Для кого этот курс?

• Для разработчиков. Сможете выполнять специфические задачи, с которыми справится только дата-инженер.
• Для системных администраторов. Научитесь работать с Hadoop, Greenplum, Сlickhouse; познакомитесь с новыми системами данных.
• Для архитекторов. Узнаете о продвинутых системах больших данных, изучите лямбда-архитектуру, каппа-архитектуру, подход Data Lakehouse.

Необходимые знания

• Опыт разработки на Java/Python
• Основы работы с БД: SQL, индексы, агрегирующие функции
• Базовые знания ОС: работа с командной строкой, доступ по SSH

Будет плюсом

• Навыки работы с Docker
• Знакомство с компонентами экосистемы Hadoop
• Понимание основ машинного обучения с позиции Data Scienist-а или аналитика

Что даст вам этот курс?

• Понимание ценности данных для бизнеса и архитектуры
• Узнаете, как организовать хранение данных, познакомитесь с методами проектирования хранилищ
• Сможете разрабатывать ETL процессы для выгрузки данных из внешних источников
• Научитесь преобразовывать данные в пакетном и потоковом режимах
• Узнаете что такое качество данных и как работать с метаданными
• Изучите современные BI инструменты и научитесь создавать витрины данных

После обучения вы сможете

• Разворачивать, налаживать и оптимизировать инструменты обработки данных
• Адаптировать датасеты для дальнейшей работы и аналитики
• Создадите сервисы, которые используют результаты обработки больших объемов данных
• Принимать участие в разработке архитектуры данных в компании

Проектная работа

Реализация задачи по интересующей теме с применением комплекса знаний, полученных в рамках курса. В рамках подготовки проекта будут даны вводные и проведены консультации. Несколько примеров проектных работ студентов прошлых запусков

• Сбор и анализ скорости отдачи статики различными CDN на web страницах
• Загрузка данных о полетах из API аэропорта Schiphol в БД Elasticsearch
• Сбор, обработка и представление данных об играх и отзывов STEAM (YouTube)
• Разработка конвейера данных по мониторингу валютных пар (YouTube)