Модуль 10.Анализ данных в Power BI. Потоковая обработка данных

Знакомство с Power BI, логика работы, интерфейс
Power Query: загрузка данных, простой ETL
Power Pivot: модель данных, связи, простые агрегаты
Power Pivot: язык DAX, понятие контекста
Power View: базовые визуализации
Power View: дополнительные возможности визуализаций
Power BI Service: портал и совместная работа
Spark Streaming. Тестовые стримы, чтение файлов в реальном времени.
Kafka. Архитектура
Spark Streaming. Sinks
Lambda архитектура. Spark Streaming + Cassandra
Spark Streaming + Spark ML + Cassandra. Применение ML-модели в режиме реального времени

Часов в программе

28,00 часов

лекции

18,00 часов

практика

12,00 часов

самостоятельная

2,00 часа

промежуточная аттестация

60,00 часов

всего

Материально-технические условия реализации программы:

Вид занятий: лекция
Требуемое ПО:
Любая современная операционная система и настроенная в зависимости от языка программирования среда разработки: любая привычная IDE, для Python — установленный интерпретатор с python.org и любая привычная IDE.

Вид занятий: Практическое занятие
Требуемое ПО:
Любая современная операционная система и настроенная в зависимости от языка программирования среда разработки: любая привычная IDE, для Python — установленный интерпретатор с python.org и любая привычная IDE.

Вид занятий: самостоятельная работа
Требуемое ПО:
Любая современная операционная система и настроенная в зависимости от языка программирования среда разработки: любая привычная IDE, для Python — установленный интерпретатор с python.org и любая привычная IDE.

Информационные ресуры

 [Электронный ресурс]//URL.: https://docs.microsoft.com/en-us/power-bi/ - Документация Power BI
 [Электронный ресурс]//URL.: https://powerbi.microsoft.com/ru-ru/blog/ - Блог о Power BI
 [Электронный ресурс]//URL.: https://docs.microsoft.com/ru-ru/power-bi/fundamentals/webinars - Вебинары о Power BI
 [Электронный ресурс]//URL.: https://www.sqlbi.com/articles/row-context-and-filter-context-in-dax/ Row Context and Filter Context in DAX

Образовательные ресуры

 [Электронный ресурс]//URL.: https://www.sqlbi.com/articles/calculated-columns-and-measures-in-dax/ - Calculated Columns and Measures in DAX
 [Электронный ресурс]//URL.: https://insightsoftware.com/blog/calculated-columns-vs-measures/ - Calculated Columns vs Measures
 [Электронный ресурс]//URL.: https://www.bluegranite.com/blog/understanding-the-differences-between-calculated-columns-measures-in-power-bi - Understanding the Differences Between Calculated Columns & Measures in Power BI
 [Электронный ресурс]//URL.: https://docs.microsoft.com/en-us/power-bi/visuals/power-bi-visualization-types-for-reports-and-q-and-a - Visualization types in Power BI
 [Электронный ресурс]//URL.: https://coolinfographics.com/dataviz-guides - DataViz Reference Guides

Учебно-методические материалы

Методы, формы и технологии

Метод проблемного обучения
Технология питчинга - защита проектов

Методические разработки

Методические рекомендации по промежуточной аттестации
Методические рекомендации по организации питчинга

Материалы курса

Дополнительные материалы модуля - Сложные запросы к SQLite. Поиск в базе данных.
Опорная схема выполнения SQL-запросов.

Учебная литература

Дюбуа Поль. MySQL. — Пер. с англ. — М.: ООО "И.Д. Вильямс", 2007. — 1168 с.
• Дюбуа Поль. MySQL. Сборник рецептов. — Пер. с англ. — М.: Сим-вол-Плюс, 2004. — 1056 с.
Лутц М. Изучаем Python / М. Лутц. — Том 1 — Киев : Диалектика, 2019. — 720 c.
• Лутц М. Изучаем Python / М. Лутц. — Том 2 — Киев : Диалектика, 2019. — 832 с.
• Макконнелл С. Совершенный код. Пер. с англ. —СПб.: БХВ-Петербург, 2016. – 952 с.
• Макфарланд, Д. Новая большая книга CSS. — СПб.: Питер, 2016. — 720 с.: ил.
• Маккинни У. Python и анализ данных / У. Маккинни. — Москва : ДМК Пресс, 2020. — 540 c.
• Прохоренок Н.А. Python 3 и PyQt. Разработка приложений. – СПб.: БХВ-Петербург, 2012. – 704 с.

Темы

Знакомство с Power BI и Power Query - логика работы, интерфейс Power Pivot: модель данных, связи, простые агрегаты, язык DAX, понятие контекста Power View: базовые визуализации и дополнительные возможности Spark Streaming. Тестовые стримы, чтение файлов в реальном времени Kafka. Архитектура. Spark Streaming. Чтение Kafka Spark Streaming. Sinks. Stateful streams. Lambda архитектура. Spark Streaming + Cassandra Spark ML. Аналитика признаков в пакетном режиме. Подготовка, обучение ML-модели Spark Streaming + Spark ML + Cassandra. Применение ML-модели в режиме реального времени

Лекции
4,00ч

Практические занятия
2,00ч

Самостоятельная работа
4,00ч

Всего
10,00ч

Промежуточная аттестация 2,00 часа

Промежуточная аттестация проводится в форме отчета по результатам выполнения практического задания по дисциплинам и проверки преподавателем.