Системы обработки и анализа больших данных.

В данном модуле вы получите знания об обработке данных с помощью (Hadoop/Hive/Spark), конвейере данных (Storm, Kafka), Map Reduce, распределенной файловой системе HDFS. Кроме того, научитесь применять статистические методы анализа данных, технологии анализа данных, использовать платформы данных, инструменты с открытым исходным кодом для анализа больших данных.
Вы получите базовые знания и умения ETL при анализе больших данных

Часов в программе

17,00 часов

лекции

24,00 часа

практика

16,00 часов

самостоятельная

2,00 часа

промежуточная аттестация

59,00 часов

всего

Материально-технические условия реализации программы:

Вид занятий: Лекционные занятия
Требуемое ПО:
веб-браузеры Google Chrome, Mozila Firefox, Opera, Microsoft Edge, Яндекс.Браузер и др.

Вид занятий: Практические занятия, самостоятельная работа
Требуемое ПО:
веб-браузеры Google Chrome, Mozila Firefox, Opera, Microsoft Edge, Яндекс.Браузер и др.
Anaconda 2.7 или 3.5
Доступ к облачным вычислительным ресурсам.

Информационные ресуры

1. https://ai.2035.university/ - сайт УНТИ 2035 «Обучение в области искусственного интеллекта»
2. https://xn--80aapampemcchfmo7a3c9ehj.xn--p1ai/projects/tsifrovaya-ekonomika - сайт Национального проекта «Цифровая экономика»
3. https://xn--80aapampemcchfmo7a3c9ehj.xn--p1ai/projects/tsifrovaya-ekonomika/p-iskusstvennyy-intellekt-p – сайт федерального проекта «Искусственный интеллект» Национального проекта «Цифровая экономика»
4. https://sprint.1t.ru/ - сайт образовательной платформы ООО «1Т»
5. https://trends.rbc.ru/trends/tag/ai - раздел «Искусственный интеллект» на сайте РБК.
6. https://www.tadviser.ru/index.php/%D0%9F%D1%80%D0%BE%D0%B4%D1%83%D0%BA%D1%82:%D0%98%D1%81%D0%BA%D1%83%D1%81%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D0%B9_%D0%B8%D0%BD%D1%82%D0%B5%D0%BB%D0%BB%D0%B5%D0%BA%D1%82_(%D0%98%D0%98,_Artificial_intelligence,_AI) – раздел «Искусственный интеллект» на сайте «TAdviser». Государство. Бизнес. Технологии.
7. https://rb.ru/opinion/inzhener-dannyh/ - «Инженер данных: что это за специалист и как им стать?» на сайте - RB.RU
8. https://rb.ru/opinion/data-engineer-modeli-data-scientist/ - «В России катастрофически не хватает инженеров данных – кому и зачем они нужны» на сайте - RB.RU

Образовательные ресуры

1. Бесплатные материалы по Data Engineering от преподавателей МФТИ https://fpmi-edu.ru/free-de
2. https://ru.coursera.org/specializations/gcp-data-machine-learning#courses
3. Big Data Specialization. https://www.coursera.org/specializations/big-data

Учебно-методические материалы

Методы, формы и технологии

Для достижения планируемых результатов обучение строится с использованием следующих:
методов: case-study, метод проектов, модульное обучение, проблемное обучение, контекстное обучение;
форм: лекции с использованием мультимедиа, практические занятия, самостоятельная работа, практика на базе привлекаемой организации.

Кроме того, обучение строится с применением технологий электронного обучения
и дистанционных образовательных технологий.

Методические разработки

Обучающие материалы представлены в виде видеолекций, текстовых и графических материалов, размещенных на платформе sprint.1T.

Материалы курса

Видеолекции
Текстовые материалы лекций
Инструкции для выполнения заданий
Обучающие задания с автоматизированной системой проверки и подсказками
Проверочные задания с автоматизированной системой проверки

Учебная литература

1. Кухарев Г. А. Методы обработки и распознавания изображений лиц в задачах биометрии / Г. А. Кухарев, Е. И. Каменская, Ю. Н. Матвеев, Н. Л. Щеголева. Монография СПб: Политехника, 2013. − 388 с.
2. Барсегян, А. А. Анализ данных и процессов: учеб. пособие / А. А. Барсегян, М. С. Куприянов, И. И. Холод, М. Д. Тесс, С. И. Елизаров. − 3-е изд., перераб. и доп. − СПб.: БХВ-Петербург, 2009. − 512 с.: ил. + CD-ROM — (Учебная литература для вузов).
ISBN 978-5-9775-0368-6.
3. Лесин В. В. Основы методов оптимизации: учебное пособие для вузов / Лесин Виктор Васильевич, Лисовец Юрий Павлович. - 3-е изд., испр. – Санкт-Петербург : Лань, 2011. – 352с. : ил.
4. Аттетков, А.В. Методы оптимизации: учебное пособие / А. В. Аттетков,
В. С. Зарубин, А. Н. Канатников. – Москва: РИОР: ИНФРА-М, 2013. – 269 с.
5. Косников, С.Н. Математические методы в экономике : учеб. пособие для вузов / С. Н. Косников. – 2-е изд., испр. и доп. — М. : Издательство Юрайт, 2019. – 172 с. – (Серия : Университеты России). – ISBN 978-5-534-04098-2.
6. Методы оптимизации: практикум / Б. В. Соболь, Б. Ч. Месхи, Г. И. Каныгин. - Ростов-на-Дону : Феникс, 2009. – 377 с. ISBN. 978-5-222-16161-6.
Григорьев А.А., Исаев Е.А. Методы и алгоритмы обработки данных : Учебное пособие. - НИЦ ИНФРА-М, 2018 – 383 с.
7. Замятин А.В. Интеллектуальный анализ данных : Учебное пособие. – Томский государственный университет, 2020. – 196.
8. Косников, С.Н. Математические методы в экономике : учеб. пособие для вузов / С. Н. Косников. – 2-е изд., испр. и доп. — М. : Издательство Юрайт, 2019. – 172 с. – (Серия : Университеты России).
9. Лонг Дж. Д. , Титор Пол. R. Книга рецептов: проверенные рецепты для статистики, анализа и визуализации данных : Практическое пособие. - ДМК Пресс, 2020 – 510 с.

Темы

Тема 2.1 Обработка данных с помощью (Hadoop/Hive/Spark) Тема 2.2 Конвейер данных (Storm, Kafka) Тема 2.3 Базовое представление о Map Reduce Тема 2.4 Распределенная файловая система HDFS Тема 2.5 Статистические методы анализа данных Тема 2.6 Технологии анализа данных Тема 2.7 Использование платформ данных Тема 2.8 Инструменты с открытым исходным кодом для анализа больших данных Тема 2.9 Что такое ETL: как справиться с анализом BigData