Модуль 6. BigData. Введение в экосистему Hadoop

Введение в Hadoop
HDFS
YARN & MR
Hive & HUE
Форматы хранения
ETL
NoSQL
DWH

Часов в программе

15,00 часов

лекции

19,00 часов

самостоятельная

2,00 часа

промежуточная аттестация

36,00 часов

всего

Материально-технические условия реализации программы:

Вид занятий: лекция
Требуемое ПО:
Любая современная операционная система и настроенная в зависимости от языка программирования среда разработки: любая привычная IDE, для Python — установленный интерпретатор с python.org и любая привычная IDE.

Вид занятий: Практическое занятие
Требуемое ПО:
Любая современная операционная система и настроенная в зависимости от языка программирования среда разработки: любая привычная IDE, для Python — установленный интерпретатор с python.org и любая привычная IDE.

Вид занятий: самостоятельная работа
Требуемое ПО:
Любая современная операционная система и настроенная в зависимости от языка программирования среда разработки: любая привычная IDE, для Python — установленный интерпретатор с python.org и любая привычная IDE.

Информационные ресуры

 The Redis Documentation [Электронный ресурс]//URL.: https://redis.io/documentation
 Что такое ClickHouse [Электронный ресурс]//URL.: https://clickhouse.yandex/docs/ru/
 Русскоязычное сообщество Ubuntu Linux [Электронный ресурс]. https://help.ubuntu.ru/wiki/vim

Образовательные ресуры

• Beginning DAX with Power BI: The SQL Pro’s Guide to Better Business Intelli-gence 1st ed. Edition. Apress; 1st ed. edition, 2018. - 281 с.
• Maurya A. Running Lean.
• Microsoft Power BI Dashboards Step by Step. Microsoft Press; 1st edition, 2018. - 304 с.

Учебно-методические материалы

Методы, формы и технологии

Метод проблемного обучения
Технология питчинга - защита проектов

Методические разработки

Методические рекомендации по промежуточной аттестации
Методические рекомендации по организации питчинга

Материалы курса

Дополнительные материалы модуля - Сложные запросы к SQLite. Поиск в базе данных.
Опорная схема выполнения SQL-запросов.

Учебная литература

Дюбуа Поль. MySQL. — Пер. с англ. — М.: ООО "И.Д. Вильямс", 2007. — 1168 с.
• Дюбуа Поль. MySQL. Сборник рецептов. — Пер. с англ. — М.: Сим-вол-Плюс, 2004. — 1056 с.
Лутц М. Изучаем Python / М. Лутц. — Том 1 — Киев : Диалектика, 2019. — 720 c.
• Лутц М. Изучаем Python / М. Лутц. — Том 2 — Киев : Диалектика, 2019. — 832 с.
• Макконнелл С. Совершенный код. Пер. с англ. —СПб.: БХВ-Петербург, 2016. – 952 с.
• Макфарланд, Д. Новая большая книга CSS. — СПб.: Питер, 2016. — 720 с.: ил.
• Маккинни У. Python и анализ данных / У. Маккинни. — Москва : ДМК Пресс, 2020. — 540 c.
• Прохоренок Н.А. Python 3 и PyQt. Разработка приложений. – СПб.: БХВ-Петербург, 2012. – 704 с.

Темы

Введение в Hadoop HDFS YARN & MR Hive & HUE Форматы хранения ETL для многомерной модели данных NoSQL DWH в хранилищах данных

Лекции
2,00ч

Самостоятельная работа
2,00ч

Всего
4,00ч

Промежуточная аттестация 2,00 часа

Промежуточная аттестация проводится в форме отчета по результатам выполнения практического задания по дисциплинам и проверки преподавателем.