Курсы Hadoop
Популярные категории
обновлено
Фильтр
Показаны все (10)
АНАЛИЗ РЫНКА
Сколько зарабатывают специалисты со знанием Hadoop?
Преподаватели и эксперты
Skillbox
Алексей Некрасов
Тимлид по разработке на Python в МТС, возглавляет образовательный трек в Skillbox. Стаж – 6+ лет.
Skillbox
Никита Нестеренко
Инженер-разработчик, руководит проектами в «Сбере», стаж – 5+ лет.
Skillbox
Дарья Корчуганова
Тим-лид команды разработчиков «Газпромбанк Бизнес-онлайн», выступает на конференциях по JS
Skillfactory
Михаил Бородин
Разработчик с опытом 12+ лет
Тимлид команды бекенд-разработки в AppFollow, сотрудничал с X5 Retail Group.
Тимлид команды бекенд-разработки в AppFollow, сотрудничал с X5 Retail Group.
Skillfactory
Алексей Семёнов
Заведующий кафедрой МГУ Заведующий кафедрой МГУ
OTUS
Андрей Сорокин
Архитектор ПО, бекенд-разработчик, стек C# ASP.NET, стаж 15+ лет.
OTUS
Вячеслав Лапин
Java-разработчик, тим-лид, работал в Kaspersky Lab, «Ланит», спикер конференций.
Hexlet
Кирилл Мокевнин
Веб-разработчик с опытом 18 лет, DevOps-инженер, преподаватель.
Eduson Academy
Иван Лауре
Веб-разработчик, системный администратор, сотрудник «Лаборатории Касперского», 20 лет в разработке, 10 – в тестировании.
Eduson Academy
Вьет Нгуен
Разработчик в СберKids, пишет код на JavaScript и Python, руководил командой разработчиков финансовых продуктов.
Skillbox
Анна Ширяева
Frontend developer в Сибур со стажем 13+ лет.
Skypro
Олег Маслов
Коммерческий разработчик на Python и Django с опытом 15 лет, основатель студии Oscar Studio
Skillbox
Павел Горкин
Программист на C++ и Blueprints, разработчик на Unreal Engine
XYZ School
Анастасия Карцева
Ведущий тестировщик игр в Azur Games.
Нетология
Матвей Серегин
Архитектор «1С: БухОбслуживание»
нетология
Олег Евсютин
Руководит департаментом кибербезопасности НИУ ВШЭ, преподаёт криптографию
РЕЙТИНГ
Бесплатные онлайн-курсы sdp hadoop - обучение с нуля
Hadoop. Система для обработки больших объемов данных | Stepik
Для кого: студенты, разработчики, новички.
Формат: видеоуроки, тексты, тесты, интерактивные задания.
Длительность: 33 урока, 12,5 часов видео, 219 тестов, (обучение по свободному расписанию).
Формат: видеоуроки, тексты, тесты, интерактивные задания.
Длительность: 33 урока, 12,5 часов видео, 219 тестов, (обучение по свободному расписанию).
Учебный курс по основам Hadoop | Школа Больших Данных
Для кого: новички.
Формат: скринкасты.
Длительность: 9 уроков.
Формат: скринкасты.
Длительность: 9 уроков.
Обучение Hadoop
Программа обучения Hadoop следующая.
Теоретические знания: основы экосистемы, Big Data.
Понятие больших данных: зачем нужны, проблема обработки.
История развития платформы.
Концепции пайплайнс, Data Lake.
Организация озера данных с применением кластеров, баз данных, платформы потоковой обработки информации.
Понятие больших данных: зачем нужны, проблема обработки.
История развития платформы.
Концепции пайплайнс, Data Lake.
Организация озера данных с применением кластеров, баз данных, платформы потоковой обработки информации.
Архитектура Hadoop.
Компоненты, составляющие платформы, её установка на Linux, настройка.
YARN – сервис для планировки.
Отказоустойчивость, доступность кластера.
Компоненты, составляющие платформы, её установка на Linux, настройка.
YARN – сервис для планировки.
Отказоустойчивость, доступность кластера.
Файловая система.
Архитектура, блоки в HDFS.
Чтение/запись, назначения.
Квоты, сжатие.
Форматы файлов: текстовые, конфигурационные.
Импорт данных.
Архитектура, блоки в HDFS.
Чтение/запись, назначения.
Квоты, сжатие.
Форматы файлов: текстовые, конфигурационные.
Импорт данных.
Знакомство с дизайном кластера.
Требования к ПО.
Планирование, масштабирование кластера.
Его интеграция с иными решениями.
Требования к ПО.
Планирование, масштабирование кластера.
Его интеграция с иными решениями.
Инсталляция кластера.
Развёртывания Hadoop посредством ADCM.
Начальная конфигурация файловой системы, MapReduce.
Логи, файлы конфигурации, их экспорт.
Инсталляция клиентов и кластера в облачной инфраструктуре (Amazon, Microsoft).
Развёртывания Hadoop посредством ADCM.
Начальная конфигурация файловой системы, MapReduce.
Логи, файлы конфигурации, их экспорт.
Инсталляция клиентов и кластера в облачной инфраструктуре (Amazon, Microsoft).
Поддержка кластера.
Работа с дисковой подсистемой.
Квоты.
Управление: старт, перезагрузка, остановка.
Управление обновлениями и узлами.
Формирование локального репозитория (хранилища).
Работа с дисковой подсистемой.
Квоты.
Управление: старт, перезагрузка, остановка.
Управление обновлениями и узлами.
Формирование локального репозитория (хранилища).
Управление кластерами посредством ADCM.
Назначение ADCM.
Средства мониторинга кластера.
Диагностика, решение проблем.
Назначение ADCM.
Средства мониторинга кластера.
Диагностика, решение проблем.
Модель распределённых вычислений MapReduce.
Идея, парадигма MapReduce.
API для взаимодействия с Hadoop.
Паттерны проектирования.
Joint- и прочие реализации в парадигме MapReduce.
YARN: управление очередями задач, ресурсами, Fair, Capacity.
Идея, парадигма MapReduce.
API для взаимодействия с Hadoop.
Паттерны проектирования.
Joint- и прочие реализации в парадигме MapReduce.
YARN: управление очередями задач, ресурсами, Fair, Capacity.
Инструменты экосистемы.
Интерфейс Zeppelin / HUE.
Zookeeper.
SQL: основы Hive.
Планировщики: Capacity и FIFO Scheduler.
Sqoop – инсталляция, базовые операции.
Интерфейс Zeppelin / HUE.
Zookeeper.
SQL: основы Hive.
Планировщики: Capacity и FIFO Scheduler.
Sqoop – инсталляция, базовые операции.
FAQ (Часто задаваемые вопросы)
Где / зачем используют Hadoop?
Hadoop – набор утилит, фреймворков и библиотек для создания распределённых приложений – работающих в сотнях и тысячах кластеров. На нём реализуют контекстные и поисковые механизмы высоконагруженных веб-проектов: сайты, приложения. Файловая система HDFS обладает высокой производительностью, ведь рассчитана на хранение огромных объёмов файлов (десятки терабайт – петабайты), она обеспечивает непревзойдённую скорость доступа к ним. Инструмент применяют для организации хранения, обработки и получения мгновенного доступа к огромным и постоянно растущим объёмам информации, например, корпорация Microsoft. Порой для этого применяют систему SDP Hadoop от Сбера.
Сколько времени нужно на освоение инструмента?
Обучение основам Hadoop занимает 3 - 5 полных дней или 2 - 3 месяца, если заниматься по 6 - 8 часов еженедельно.
РЕАЛЬНЫЕ
