Курс «Инженер данных» от Яндекс.Практикум

Программа

1. Вводный модуль. Построение простой витрины данных с использованием SQL.
2. Построение и обновление структуры данных.
3. Обновление и оптимизация БД, миграция данных.
4. ETL-процессы, автоматическая выгрузка данных из источников.
5. Контроль качества данных, использование метаинформации и тех. документации.
6. Построение DWH с использованием СУБД PostgreSQL..
7. Организация, управление и анализ БД в Vertica.
8. Архитектура и обработка данных Data Lake.
9. Потоковая обработка данных в реальном времени.
10. Автоматизация управления БД с использованием облачных сервисов.

Чему научитесь

• Проектировать пайплайны.
• Создавать, обрабатывать, переносить базы данных при помощи разных СУБД.
• Оптимизировать хранилища данных с учетом запросов.
• Пользоваться библиотеками Python для работы с БД.
• Пользоваться инструментами Metabase, Docker, Hadoop, MangoDB, Spark.
• Автоматизировать процессы при помощи ETL AirFlow.
• Контролировать конвейеры, отслеживать ошибки и сбои.

Особенности курса

• Для обучения потребуются базовые навыки SQL и Python.
• 9 тестовых проектов.
• Практические задания после каждой темы – для закрепления теории.
• Возможность прохождения начального этапа обучения бесплатно.
• Возможность обучения за счет работодателя.