Data Engineering — Лучшие онлайн курсы

Программа

1. Базовый модуль – введение в Data Science.
2. Введение в дата-инженерию.
3. Основы статистики и теория вероятностей.
4. Разработка и внедрение ML-моделей.
5. Основы регрессионного тестирования.
6. SQL и Python для обработки данных.
7. Архитектура хранения данных и профессиональные средства мониторинга.
8. Дипломный проект.

Чему научитесь

• Использовать средства для аналитики данных.
• Программировать на Python с использованием фреймворков Spark, Airflow, Pandas.
• Работать с базами данных в SQL.
• Пользоваться PyCharm, Kafka, Docker, Prometheus, Logstash.
• Подключать и обрабатывать источники статистических данных.
• Выстраивать пайплайн проекта с учетом запросов заказчика.
• Управлять проектами через GIT, облачные сервисы для командной работы.
• Тестировать код и исправлять программные ошибки.

Особенности курса

• Тестовые проекты в Spark и Hadoop для портфолио.
• Более 80 практических заданий для закрепления теории.
• Индивидуальный карьерный план для каждого выпускника.
• Возможность оплаты частями с отсрочкой первого платежа.

Программа

1. Вводный модуль. Задачи, навыки и инструменты дата-инженера.
2. Архитектура систем обработки данных. Docker и инструменты On-promise.
3. Data Lake, работа с Hadoop. Архитектура приложений в Apache Spark.
4. Обработка потоковых данных.
5. Проектирование DWH и внедрение BI-решений.
6. Контроль данных через СУБД NoSQL.
7. Автоматизация БД. Практики DevOps. Методы мониторинг.
8. Подготовка итогового проекта.

Чему научитесь

• Разворачивать и оптимизировать БД.
• Адаптировать хранилища под запросы клиента.
• Анализировать эффективность работы автоматических БД.
• Создавать сервисы для обработки больших объемов информации.
• Управлять данными в потоковом режиме.
• Работать с экосистемой Hadoop, облачными сервисами, инструментами аналитики.

Особенности курса

• Рассчитан на специалистов с опытом программирования, системного администрирования.
• Обучение с реальными примерами внедрения и оптимизации БД.
• Индивидуальная работа над ошибками при выполнении практических заданий.
• Отработка навыков в Yandex Cloud.
• Подготовительный курс для тех, кто хочет освоить или повысить уровень владения Linux.

Программа

1. Вводный модуль.
2. Создание и управление базами данных. Автоматизация БД.
3. Тестирование при помощи Python.
4. Разработка моделей с учетом конкретных бизнес-требований.
5. Работа с Power BI, Airflow.
6. Алгоритмы Machine Learning. Обучение нейронных сетей.
7. Обработка сложных наборов данных. Разработка DS-проектов.
8. Базовые методы Data Analyst. Продвинутые приемы работы с Python, Excel, Power BI.
9. Дополнительный курс на выбор: основы статистики, математика для Data Science, контроль версий в Git.

Чему научитесь

• Управлять базами данных на уровне продвинутого пользователя.
• Дистанционно настраивать автоматическую выгрузку и обработку данных.
• Разворачивать Data-проекты исходя из потребностей клиента.
• Использовать Python, Spark, Pandas, Airflow для анализа данных.
• Внедрять автоматические средства тестирования.

Особенности курса

• Интенсивная программа для обучения с нуля.
• Обратная связь с кураторами.
• Дополнительные курсы на выбор.
• Отсрочка оплаты на 6 месяцев.
• Возможность получения скидки для последующего обучения на платформе SkillBox.

Программа

1.   Основы работы с SQL.
2.   Углубленное изучение SQL: зависимости, масштабирование функций, основы проектирование.
3.   Настройка и конфигурация ETL-процессов.
4.   Внедрение и настройка Business Intelligence.
5.   Программирование на Python для анализа данных.
6.   Основы Hadoop, Data Lake, Data Warehouse, MapReduce, Yarn.
7.   Продвинутые методы работы с данными.
8.   Обработка данных в облачных хранилищах.
9.   Основы машинного обучения.
10.   Бонусный модуль – английский язык для Data Scientist.
11.   Карьерное планирование и работа над итоговым проектом.

Чему научитесь

• Проектировать хранилища данных под конкретные задачи.
•  Настраивать ETL/ELT при помощи разных data-инструментов;
• Работать с Data Lakes в облачных хранилищах.
• Взаимодействовать с инфраструктурой ML моделей.
• Анализировать статистические данные с учетом поставленных бизнес целей.
• Писать приложения на Kafka Streams DSL.

Особенности курса

• Рассчитан для новичков и специалистов Data Scientist, системных администраторов.
• 6 тестовых проектов по мере прохождения курса – для портфолио.
• Интерактивный тренажер для написания и запуска кода.
• Бесплатный доступ к Yandex Cloud для работы с тестовыми проектами.
• Сопровождение куратора на всех этапах обучения.

Углубленный курс для Data инженеров по изучению Spark, Hadoop и Hive. Начнете понимать основные компоненты и дистрибутивы вендоров в Hadoop, использовать архитектуру HDFS, YARN. А также, разбираться в форматах данных, различать Spark Streaming и Flink, использовать оркестрацию, мониторинг и CI/CD. Преимущества: развернутый фидбек, заберете с собой полный комплект обучающих материалов, сертификат.

На курсе научитесь выстраивать инфраструктуру для сбора, анализа, хранения, обработки, хранения и анализа Big Data. Во время обучения отточите навыки на реальных проектах VK /Сбера. Программа подойдет даже новичкам в IT, начинающим аналитикам и программистам. Плюсы: 9 проектов в портфолио, высокая оценка курса по оценке пользователей, свежее обновление информации.

Короткий курс по проектированию и разработке архитектуры Big Data. Программа рассчитана на 6 дней – 24 академических часа. Пройдя обучения, студенты освоят порядок построения корпоративных хранилищ, получат базовые навыки управления, тестирования и контроля качество проектов, связанных с управлением БД.

Подробный курс для подготовки дата-инженеров в 2023 году. Программа рассчитана на 10 месяцев и ориентирована на аналитиков, разработчиков и других IT-специалистов. Занятия проходят онлайн по заранее утвержденному расписанию. Благодаря этому у всех студентов есть возможность общаться с преподавателями непосредственно во время уроков и совмещать теорию с практикой.

Курс для повышения квалификации, посвящен автоматизации процессов извлечения и переноса данных. Программа позволяет освоить инструменты ETL для работы в банке или других компаниях, где требуется постоянный контроль и аналитика данных. Также на этом курсе будет интересно программистам, веб-разработчикам, тестировщикам программных продуктов.

Курс позволяет научиться выстраивать архитектуру и автоматизировать процесс обработки больших объемов данных. Программа содержит большое количество теории и более 40 практических заданий. Общая длительность обучения – 11 месяцев, что позволяет освоить все необходимые инструменты для работы с реальными проектами.

Курс на 5 месяцев, посвященный машинному обучению. Программа позволяет быстро освоить инструменты ML на основе подробной теории и большого количества практических заданий. Курс подойдет опытным дата-инженерам, а также разработчикам программного обеспечения. Для прохождения потребуются навыки работы с Python, командной строкой Linux, SQL, Docker.

Программа

1. Вводный модуль. Построение простой витрины данных с использованием SQL.
2. Построение и обновление структуры данных.
3. Обновление и оптимизация БД, миграция данных.
4. ETL-процессы, автоматическая выгрузка данных из источников.
5. Контроль качества данных, использование метаинформации и тех. документации.
6. Построение DWH с использованием СУБД PostgreSQL..
7. Организация, управление и анализ БД в Vertica.
8. Архитектура и обработка данных Data Lake.
9. Потоковая обработка данных в реальном времени.
10. Автоматизация управления БД с использованием облачных сервисов.

Чему научитесь

• Проектировать пайплайны.
• Создавать, обрабатывать, переносить базы данных при помощи разных СУБД.
• Оптимизировать хранилища данных с учетом запросов.
• Пользоваться библиотеками Python для работы с БД.
• Пользоваться инструментами Metabase, Docker, Hadoop, MangoDB, Spark.
• Автоматизировать процессы при помощи ETL AirFlow.
• Контролировать конвейеры, отслеживать ошибки и сбои.

Особенности курса

• Для обучения потребуются базовые навыки SQL и Python.
• 9 тестовых проектов.
• Практические задания после каждой темы – для закрепления теории.
• Возможность прохождения начального этапа обучения бесплатно.
• Возможность обучения за счет работодателя.

Обновленный курс Инженер Данных Data Engineer для новичков, которые хотят освоить специальность с нуля. Программа рассчитана на 2 месяца. Благодаря хорошей структуризации учебного процесса студенты смогут освоить все необходимые инструменты для эффективной обработки данных. Доступ к Вашим материалам в личном кабинете открыт навсегда.

Бюджетный курс, посвященный построению дата-пайплайнов. В процессе обучения студенты освоят инструмент Luigi и научатся писать пайплайн на Python. Программа включает 20 коротких уроков, тесты для закрепления теории и практические задания. Курс будет полезен не только дата-инженерам, но разработчикам и аналитикам.

Онлайн-курс Data Engineering для IT-специалистов на позициях Junior и Middle. Программа рассчитана на 5 месяцев и содержит все необходимое для полноценного выполнения поставленных задач. Выбирайте удобный график обучения с учетом собственных возможностей. Обязательным условием успешного прохождения программы является своевременное выполнение практических заданий.

Один из вариантов для тех, кто хочет попробовать учиться бесплатно, прежде чем покупать платные курсы Data Engineering. Программа затрагивает методы обработки больших объемов данных с помощью системы Hadoop. В процессе прохождения студенты получат комплексное представление о способах хранения и обработки данных и освоят навыки разработки приложений с использованием MapReduce. После завершения курса и сдачи итогового проекта предоставляется сертификат Stepik.

Программа

1. Линейная алгебра.
2. Градиентный спуск, перцептрон.
3. Использование алгоритма обратного распространения ошибки.
4. Мониторинг состояния сети.

Чему научитесь

• Понимать основы искусственных нейронных сетей.
• Использовать нейронные сети для анализа данных.

На интенсиве слушатели изучат не только теорию, но и практическую часть областей data science и data engineering. На курсе поймете, как выводить модели в прод, отработаете ML пайплайны. А также, научитесь версионировать данные, создавать и настраивать модели, работать с инфраструктурой, воспроизводить эксперименты разной сложности. Разберетесь с теорией вероятности, корреляционным анализом, мультиколлинеарностью, интерпретацией в сфере Machine Learning.

На курсе освоите инструменты, базовые навыки инженера по Data, фреймворки Hadoop, Spark, получите практические навыки и доступ в профессиональное сообщество Дата инженеров. Бесплатные материалы включают 5 курсов, подборку сервисов, приложений, тренажеров, интересные статьи. Подойдет новичкам в IT, работающим специалистам. Чему научитесь: программировать с нуля, автоматизировать задачи, использовать в работе языки программирования Python, SQL и C++, работать в Apache Kafka, Hive, Real-time обработке, Git.

Вводная программа обучения включает теорию ML и Data Science, практические кейсы. Изучите регрессию, классификацию, базовые алгоритмы, основы программирования. Результатом обучения станут 3 кейса для портфолио, 3+ .ipynb файлов с разными уникальными datasets. Обучающие материалы подойдут новичкам, BI Аналитикам, Data Инженерам, Data Analyst, Data Scientist, middle специалистам, работающим в ИТ.

В программе 12 модулей: введение в профессию и роль аналитики, БД, SQL, визуализация данных, создание дашбордов и отчетности, создание потоков данных, интеграция, конвейеры, мониторинг, облачные вычисления и хранилище данных, Apache Spark, Hadoop, Spark, озеро данных и инструменты AWS. На курсе прорешаете с опытным преподавателем задачи по стримингу данных, машинного обучения, разберете лучшие практики инженера по Data.