qalight
Центр подготовки
IT специалистов

BigData и Hadoop

Дата старта:

20.10.2018

Длительность:

20 часов

Выходной день

Сб

Вс

Пн

10:00 — 14:00

Вт

10:00 — 14:00

Ср

10:00 — 14:00

Чт

10:00 — 14:00

Пт

10:00 — 14:00

Сб

10:00 — 14:00

Вс

10:00 — 14:00

Цена

9 000 грн

Возможна оплата частями

Описание курса:

     Курс «Введение в BigData и Hadoop» от школы QALight – это один из самых быстрых и эффективных способов получить знания в столь перспективной сейчас области BigData.

     BigData – это тренд в современном мире IT, который включает в себя не только само понятие Больших Данных (т.е. объемов данных, значительно превышающих возможности исчисления обычных СУБД), а и современных инструментов, позволяющих работать с огромными объемами информации разнопланового, постоянно обновляющегося характера. Все больше компаний обращаются к данной технологии, ведь возможность быстро и качественно оперировать нужной информацией в целом океане данных, прямым образом влияет на эффективность работы, а значит и занятие лучших конкурентных позиций на рынке.

     В ходе изучения курса, Вам станут подвластны такие понятия и технологии, как BigData, NoSQL, Hadoop, HDFS, MapReduce и YARN. Вы не просто изучите данные термины, но и в ходе практических занятий сможете прощупать все эти технологии собственноручно.

     Данная область относительно молодая. А с учетом роста в прогрессии количества различной хранимой информации с каждым годом и месяцем, необходимость в специалистах, которым покорилась стихия Больших Данных будет только возрастать. Не упустите свою возможность.

Необходимые начальные знания для успешного прохождения курса:

  • Опыт работы с реляционными базами данных и SQL
  • Опыт работы с *nix-подобными системами и знание команд Linux
  • Понимание аппаратного уровня компьютерных систем

Также Вы получаете:

plane-2

Очень востребованные знания

diploma-2

Сертификат об окончании курса

Программа курса:

Занятие 1. Вводная лекция

  • Повторение понятия реляционной базы данных;
  • Объяснение понятий OLTP, OLAP, ETL;
  • Рассмотрение типичной IT-инфраструктуры предприятия с точки зрения хранения и обработки данных;
  • Объяснение понятия Больших Данных, характеристики Больших Данных;
  • Проблемы в обработке Больших Данных;
  • Экскурс в технологии обработки Больших Данных.

 

Занятие 2. NoSQL базы данных

  • Место NoSQLбазы данных в IT-инфраструктуре предприятия;
  • CAP теорема;
  • Отличие реляционных баз данных от NoSQLбаз данных;
  • Объяснение NewSQLбаз данных;
  • Типы NoSQLбаз данных и примеры их использования;

 

Занятие 3-4. Начало работы с Hadoop

  • Место Hadoop в IT-инфраструктуре предприятия;
  • Сравнение Hadoop с реляционными и NoSQLбазами данных;
  • Обзор системы Hadoop и типичные примеры использования;
  • Архитектура системы Hadoop;
  • Обзор экосистемных проектов и вендоров Hadoop;
  • Какие ресурсы необходимы для установки кластера?
  • Установка кластера Hadoop в standalonemode, обзор сервисов;
  • Управление кластером Hadoopчерез графический интерфейс и утилиту Hue.

 

Занятие 5-6. Работа с HDFS

  • Архитектура и сервисы HDFS;
  • Как хранятся данные в HDFS?
  • Процесс чтения и запись файлов в HDFS;
  • Инструменты управления HDFS– NameNodeUI и SecondaryNameNodeUI;
  • Использование командной строки для доступа к HDFS;
  • Проблемы при хранении маленьких файлов на HDFS;
  • Основные параметры конфигурации HDFS;
  • Настройка отказоустойчивости HDFS.

 

Занятие 7-8. MapReduce и YARN

  • Рассмотрение парадигмы MapReduce на примере;
  • Архитектура кластера Hadoopс MapReduceV1;
  • Как работают основные компоненты MapReduceV1;
  • Архитектура кластера Hadoop с YARN;
  • Как работают основные компоненты YARN;
  • Запуск заданий MapReduce и их мониторинг в ResourceManagerUI;
  • Просмотр журналов логгирования в UI и на HDFS;
  • Основные параметры MapReduce, способы установки параметров.

 

Занятие 9. Работа с Hive и Impala

  • Обзор и архитектура Hive;
  • Таблицы и партиционирование в Hive;
  • Загрузка данных в таблицы Hive;
  • Практические задания на выборку данных с помощью Hive и Impala.

 

Занятие 10. Финальное собеседование и тестирование по пройденному материалу.

 

Читать дальше

Записаться на курс

BigData и Hadoop

Остались вопросы? Звони!