Data Scientist

Изучите основы и выберите подходящее направление в data science: машинное обучение, аналитику данных или дата-инженерию

Инструменты

Excel
Python
PyCharm
Jupyter Notebook
Pandas
GitLab
SQL
PowerBI
NumPy
FastAPI
Docker
Grafana
Airflow
Kafka
Spark

Навыки

• Извлечение данных из файлов, API и баз данных
• Работа с big data
• Разведывательный анализ данных
• Формулирование и проверка гипотез
• ML-инженер: построение и внедрение моделей машинного обучения, оценка качества моделей
• Data-инженер: разворачивание программной инфраструктуры для сбора, обработки, хранения данных; тестирование кода

Программа обучения

Основные курсы
Основы Data Science

• Business Understanding. С чего начинается работа с данными
• Data Understanding. Excel
• Введение в Python
• Переменные и типы данных
• Условия
• Циклы
• Алгоритмы и структуры данных
• Функции
• Коллекции в Python
• Чтение файлов в Python и командной строке
• Библиотека Pandas
• Получение данных с помощью API
• Базы данных
• Язык запросов SQL
• Power BI
• Data Preparation
• Разведочный анализ данных. Data cleaning, data visualization, feature engineering
• Modeling
• Машинное обучение
• Линейные модели и нейронные сети
• Метрики в аналитике
• Маркетинговая аналитика
• Продуктовая аналитика
• Modeling. Заключение
• Evaluation
• Алгоритмы и структуры данных. Часть 2
• Deployment
• Модель как API
• Мониторинг моделей
• Airflow

Машинное обучение (на выбор)

• Постановка задачи и терминология machine learning
• Выгрузка данных с помощью SQL
• Линейная регрессия и регуляризация
• Метрическая классификация. Метод ближайших соседей
• Библиотека numpy
• Линейная классификация: логистическая регрессия, опорные векторы, деревья решений
• Очистка данных
• Кластеризация: метод k-средних и DBSCAN
• Несбалансированные выборки
• Нейрон и нейронная сеть
• Основы анализа текстов

Инженер данных (на выбор)

• Типы источников. Подключение источников с помощью data ingestion tool
• Docker: настройка мониторинга и логирования
• Hadoop Stack
• Spark: RDD, Dataframe
• Hive
• Введение в хранилища данных для аналитики
• Построение data lake
• Управление ETL-процессами с помощью Airflow
• Использование ClickHouse
• Моделирование и построение DWH
• Работа с аналитическими БД
• Построение витрин
• Тестирование Python-приложений на примере DAGов Airflow
• Загрузка данных и контроль качества

Аналитик данных (на выбор)

• Доступные источники данных, оценка качества
• Визуализация в Excel
• Объединение разнородных данных
• Требования к качеству данных
• Корреляция и факторы
• Визуализация в Python
• Формулирование гипотез по данным
• SQL для витрины данных
• Очистка данных
• Методы прогнозирования
• Программные средства визуализации
• A/B-тесты и их планирование
• Данные по API и аккумулирование источников
• Повышение качества данных
• Выявление закономерности в данных
• Прикладные программные продукты визуализации
• Интерпретация результатов А/В-тестирования
• Аналитическая отчетность и сторителлинг

Итоговый проект
Дополнительные курсы
Основы математики

• Базовые математические объекты и SymPy
• Интерполяция и полиномы
• Аппроксимация, преобразования функций и производные
• Функции нескольких переменных, их свойства и графики
• Частные производные функции нескольких переменных
• Векторs и матрицы. Градиент
• Линейная регрессия и системы линейных уравнений
• Задача аппроксимации как матричное уравнение

Основы статистики и теории вероятностей

• Случайные величины и события
• Принципы и виды распределения
• Непрерывные распределения
• Статистисечкие тесты
• Составление моделей и проверка гипотез
• Gentle introduction. Теория вероятностей в Python
• Оценивание
• Проверка гипотез
• Совместные распределения
• Исследование зависимостей
• Временные ряды

Git

• Работаем с Git на своем компьютере
• Работаем с удаленным репозиторием
• Командная работа в Git
• Сравнение версий и отмена изменений
• Инструменты и правила работы с Git

Развитие карьеры разработчика

• Поиск подходящих вакансий
• Подготовка к собеседованиям
• Переговоры с работодателем