РЕЙТИНГ

Бесплатные онлайн курсы Hadoop

Stepik логотип

Hadoop. Система для обработки больших объемов данных | Stepik

Для кого: студенты, разработчики, новички.
Формат: видеоуроки, тексты, тесты, интерактивные задания.
Длительность: 33 урока, 12,5 часов видео, 219 тестов, (обучение по свободному расписанию).


ПЕРЕЙТИ

На курсе освоите распределённую файловую систему HDFS, основы MapReduce, алгоритмы на графах, Pig, Hive, СУБД, базы данных NoSQL, HBase, хранилища, работу со Spark. Также получите навыки планирования и сопровождения озера данных.

Учебный курс по основам Hadoop от Школа Больших Данных

Учебный курс по основам Hadoop | Школа Больших Данных

Для кого: новички.
Формат: скринкасты.
Длительность: 9 уроков.


ПЕРЕЙТИ

Серия лекций по базовым составляющим экосистемы на дистрибутиве Arenadata hadoop с возможностью получения скриптов для выполнения лабораторных работ.

Обучение Hadoop

Программа обучения Hadoop следующая.

Теоретические знания: основы экосистемы, Big Data.
Понятие больших данных: зачем нужны, проблема обработки.
История развития платформы.
Концепции пайплайнс, Data Lake.
Организация озера данных с применением кластеров, баз данных, платформы потоковой обработки информации.
Архитектура Hadoop.
Компоненты, составляющие платформы, её установка на Linux, настройка.
YARN – сервис для планировки.
Отказоустойчивость, доступность кластера.
Файловая система.
Архитектура, блоки в HDFS.
Чтение/запись, назначения.
Квоты, сжатие.
Форматы файлов: текстовые, конфигурационные.
Импорт данных.
Знакомство с дизайном кластера.
Требования к ПО.
Планирование, масштабирование кластера.
Его интеграция с иными решениями.
Инсталляция кластера.
Развёртывания Hadoop посредством ADCM.
Начальная конфигурация файловой системы, MapReduce.
Логи, файлы конфигурации, их экспорт.
Инсталляция клиентов и кластера в облачной инфраструктуре (Amazon, Microsoft).
Поддержка кластера.
Работа с дисковой подсистемой.
Квоты.
Управление: старт, перезагрузка, остановка.
Управление обновлениями и узлами.
Формирование локального репозитория (хранилища).
Управление кластерами посредством ADCM.
Назначение ADCM.
Средства мониторинга кластера.
Диагностика, решение проблем.
Модель распределённых вычислений MapReduce.
Идея, парадигма MapReduce.
API для взаимодействия с Hadoop.
Паттерны проектирования.
Joint- и прочие реализации в парадигме MapReduce.
YARN: управление очередями задач, ресурсами, Fair, Capacity.
Инструменты экосистемы.
Интерфейс Zeppelin / HUE.
Zookeeper.
SQL: основы Hive.
Планировщики: Capacity и FIFO Scheduler.
Sqoop – инсталляция, базовые операции.

FAQ (Часто задаваемые вопросы)

Сколько получает специалист со знанием Hadoop?

В 2024 году средний доход специалиста колеблется в пределах (в зависимости от опыта):

  • разработчик – 220 - 280 тысяч рублей;
  • системный администратор - 80 - 200 тысяч рублей;
  • системный, Data-аналитик – 150 - 250 тысяч рублей;
  • Data-инженер – 110 - 250+ тысяч рублей.
СОВЕТ

Преимущества выбора курсов на EDDU.pro

Маркетплейс курсов

  • Используйте все преимущества каталога
  • Дата начала: 2024-01-01
  • Дата окончания: 2024-12-31

Рейтинги онлайн-школ

  • Предлагает освоить современную профессию в лучших школах
  • Рейтинги школ
  • Дата начала: 2024-01-01
  • Дата окончания: 2024-12-31

Только реальные отзывы учеников

  • Делайте выбор по реальным отзывам учеников, мы собрали более 30 000 отзывов
  • Отзывы студентов
  • Дата начала: 2024-01-01
  • Дата окончания: 2024-12-31
В РЕГИОНАХ

Доступ в любом городе России и СНГ

  • Абакан
  • Альметьевск
  • Ангарск
  • Армавир
  • Архангельск
  • Астрахань
  • Балаково
  • Балашиха
  • Барнаул
  • Батайск
  • Беларусь
  • Белгород
  • Березники
  • Бийск
  • Благовещенск
  • Брянск
  • Братск
  • Великий Новгород
  • Владивосток
  • Владикавказ
  • Владимир
  • Волгоград
  • Волгодонск
  • Волжский
  • Вологда
  • Воронеж
  • Дзержинск
  • Дербент
  • Долгопрудный
  • Домодедово
  • Екатеринбург
  • Энгельс
  • Иваново
  • Ижевск
  • Иркутск
  • Йошкар-Ола
  • Казань
  • Калининград
  • Калуга
  • Каменск-Уральский
  • Каспийск
  • Кемерово
  • Керчь
  • Киров
  • Кисловодск
  • Ковров
  • Коломна
  • Комсомольск-на-Амуре
  • Копейск
  • Королёв
  • Кострома
  • Краснодар
  • Красногорск
  • Красноярск
  • Курган
  • Курск
  • Кызыл
  • Липецк
  • Люберцы
  • Магнитогорск
  • Майкоп
  • Махачкала
  • Миасс
  • Минск
  • Москва
  • Мурманск
  • Мытищи
  • Набережные Челны
  • Назрань
  • Невинномысск
  • Нефтекамск
  • Нефтеюганск
  • Нижнекамск
  • Нижневартовск
  • Нижний Новгород
  • Нижний Тагил
  • Новомосковск
  • Новочебоксарск
  • Новочеркасск
  • Новый Уренгой
  • Новосибирск
  • Новокузнецк
  • Новороссийск
  • Норильск
  • Обнинск
  • Одинцово
  • Омск
  • Орел
  • Оренбург
  • Орехово-Зуево
  • Орск
  • Пенза
  • Пермь
  • Петрозаводск
  • Петропавловск-Камчатский
  • Псков
  • Подольск
  • Прокопьевск
  • Пятигорск
  • Раменское
  • Ростов-на-Дону
  • Рубцовск
  • Рыбинск
  • Рязань
  • Самара
  • Санкт-Петербург
  • Саратов
  • Саранск
  • Салават
  • Севастополь
  • Северодвинск
  • Серпухов
  • Симферополь
  • Смоленск
  • Сочи
  • Ставрополь
  • Стерлитамак
  • Сургут
  • Сызрань
  • Сыктывкар
  • Таганрог
  • Тамбов
  • Тверь
  • Тольятти
  • Томск
  • Тула
  • Тюмень
  • Улан-Удэ
  • Ульяновск
  • Уссурийск
  • Уфа
  • Хабаровск
  • Хасавюрт
  • Химки
  • Чебоксары
  • Челябинск
  • Череповец
  • Черкесск
  • Чита
  • Шахты
  • Щёлково
  • Энгельс
  • Южно-Сахалинск
  • Якутск
  • Ярославль
Реклама. Информация о рекламодателе по ссылкам в статье.
eddu.pro
Logo
Зарегистрировать новый аккаунт