Хранение данных на основе БД. Моделирование данных. Хранилища данных. Data Lake

Модуль направлен на освоение технологий моделирования данных, работу с различными базами данных, изучение массово параллельной обработки и анализа данных, облачных хранилищ данных (Data Warehouses), Data Lake (озеро данных).
Вы научитесь работать с базами данных и хранилищами данных, моделировать данные для решения практических задач

Часов в программе

12,00 часов

лекции

20,00 часов

практика

12,00 часов

самостоятельная

44,00 часа

всего

Материально-технические условия реализации программы:

Вид занятий: Лекционные занятия
Требуемое ПО:
веб-браузеры Google Chrome, Mozila Firefox, Opera, Microsoft Edge, Яндекс.Браузер и др.

Вид занятий: Практические занятия, самостоятельная работа
Требуемое ПО:
веб-браузеры Google Chrome, Mozila Firefox, Opera, Microsoft Edge, Яндекс.Браузер и др.
Anaconda 2.7 или 3.5
Доступ к облачным вычислительным ресурсам.

Информационные ресуры

1. https://ai.2035.university/ - сайт УНТИ 2035 «Обучение в области искусственного интеллекта»
2. https://xn--80aapampemcchfmo7a3c9ehj.xn--p1ai/projects/tsifrovaya-ekonomika - сайт Национального проекта «Цифровая экономика»
3. https://xn--80aapampemcchfmo7a3c9ehj.xn--p1ai/projects/tsifrovaya-ekonomika/p-iskusstvennyy-intellekt-p – сайт федерального проекта «Искусственный интеллект» Национального проекта «Цифровая экономика»
4. https://sprint.1t.ru/ - сайт образовательной платформы ООО «1Т»
5. https://trends.rbc.ru/trends/tag/ai - раздел «Искусственный интеллект» на сайте РБК.
6. https://www.tadviser.ru/index.php/%D0%9F%D1%80%D0%BE%D0%B4%D1%83%D0%BA%D1%82:%D0%98%D1%81%D0%BA%D1%83%D1%81%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D0%B9_%D0%B8%D0%BD%D1%82%D0%B5%D0%BB%D0%BB%D0%B5%D0%BA%D1%82_(%D0%98%D0%98,_Artificial_intelligence,_AI) – раздел «Искусственный интеллект» на сайте «TAdviser». Государство. Бизнес. Технологии.
7. https://rb.ru/opinion/inzhener-dannyh/ - «Инженер данных: что это за специалист и как им стать?» на сайте - RB.RU
8. https://rb.ru/opinion/data-engineer-modeli-data-scientist/ - «В России катастрофически не хватает инженеров данных – кому и зачем они нужны» на сайте - RB.RU

Образовательные ресуры

1. Проектирование баз данных: Распределенные базы и хранилища данных. Агрегирование // Национальный Открытый Университет «ИНТУИТ». URL: http://www.intuit.ru/studies/professional_retraining/953/courses/214/lecture/5508/
2. Введение в системы баз данных от Университета Карнеги-Меллона. https://www.youtube.com/playlist?list=PLSE8ODhjZXjYutVzTeAds8xUt1rcmyT7x
3. Продвинутые системы баз данных от Университета Карнеги-Меллона.
https://www.youtube.com/playlist?list=PLSE8ODhjZXja7K1hjZ01UTVDnGQdx5v5U

Учебно-методические материалы

Методы, формы и технологии

Для достижения планируемых результатов обучение строится с использованием следующих:
методов: case-study, метод проектов, модульное обучение, проблемное обучение, контекстное обучение;
форм: лекции с использованием мультимедиа, практические занятия, самостоятельная работа, практика на базе привлекаемой организации.

Кроме того, обучение строится с применением технологий электронного обучения
и дистанционных образовательных технологий.

Методические разработки

Обучающие материалы представлены в виде видеолекций, текстовых и графических материалов, размещенных на платформе sprint.1T.

Материалы курса

Видеолекции
Текстовые материалы лекций
Инструкции для выполнения заданий
Обучающие задания с автоматизированной системой проверки и подсказками
Проверочные задания с автоматизированной системой проверки

Учебная литература

1. Фаулер, Мартин, Садаладж, Прамодкумар Дж. «NoSQL: новая методология разработки нереляционных баз данных» Вильямс, 2013 год. – 192 с.
2. Мартишин С.А., Симонов В.Л., Храпченко М.В. Базы данных: Работа с распределенными базами данных и файловыми системами на примере MongoDB и HDFS с использованием Node.js, Express.js, Apache Spark и Scala : Учебное пособие. - НИЦ ИНФРА-М, 2020 – 235 с.
3. Темкин И.О., Баранникова И.В., Конов И.С. Аппаратные средства хранения и обработки данных : технические средства хранения данных : Учебное пособие. – М.: Национальный исследовательский технологический университет «МИСиС», 2018. – 44 с.
4. Тимофеева А.Ю., Хайленко Е.А. Вероятностные основы методов и алгоритмов анализа данных : Учебное пособие. – Новосибирск: Новосибирский государственный технический университет, 2020 – 82.

Темы

Тема 3.1 Введение в моделирование данных Тема 3.2 Реляционные базы данных Тема 3.3 Базы данных NoSQL Тема 3.4 Массово параллельная обработка и анализ данных Тема 3.5 Облачные хранилища данных (Data Warehouses) Тема 3.6 Data Lake (озеро данных)