МОДУЛЬ 1. БАЗОВЫЙ

Модуль предполагает введение в инженерию больших данных, содержание профессии «Технический аналитик». Отдельные темы посвящены изучению инструментов анализа данных: Python, Jupyter Notebook, R, библиотеки Python, Hadoop, ETL, Spark и др.; изучению технологий хранения и обработки больших данных: БД, SQL, MPP, Postgres, GreenPlum, моделирование данных, Clickhouse, построение дашбордов с помощью Superset

Часов в программе

36,00 часов

лекции

54,00 часа

практика

32,00 часа

самостоятельная

4,00 часа

промежуточная аттестация

126,00 часов

всего

Материально-технические условия реализации программы:

Вид занятий: Лекционные занятия
Требуемое ПО:
Веб-браузеры Google Chrome, Mozila Firefox, Opera, Microsoft Edge, Яндекс.Браузер и др.

Вид занятий: Практические занятия, самостоятельная работа
Требуемое ПО:
Веб-браузеры Google Chrome, Mozila Firefox, Opera, Microsoft Edge, Яндекс.Браузер и др.
Anaconda 2.7 или 3.5
Доступ к облачным вычислительным ресурсам.

Информационные ресуры

1. https://ai.2035.university/ - сайт УНТИ 2035 “Обучение в области искусственного интеллекта”
2. https://xn--80aapampemcchfmo7a3c9ehj.xn--p1ai/projects/tsifrovaya-ekonomika - сайт Национального проекта “Цифровая экономика”
3. https://xn--80aapampemcchfmo7a3c9ehj.xn--p1ai/projects/tsifrovaya-ekonomika/p-iskusstvennyy-intellekt-p - сайт федерального проекта “Искусственный интеллект” Национального проекта “Цифровая экономика”
4. https://sprint.1t.ru/ - сайт образовательной платформы ООО “1Т”
5. https://trends.rbc.ru/trends/tag/ai - раздел “Искусственный интеллект” на сайте РБК.
6. https://www.tadviser.ru/index.php/%D0%9F%D1%80%D0%BE%D0%B4%D1%83%D0%BA%D1%82:%D0%98%D1%81%D0%BA%D1%83%D1%81%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D0%B9_%D0%B8%D0%BD%D1%82%D0%B5%D0%BB%D0%BB%D0%B5%D0%BA%D1%82_(%D0%98%D0%98,_Artificial_intelligence,_AI) - раздел “Искусственный интеллект” на сайте “TAdviser”. Государство. Бизнес. Технологии.

Образовательные ресуры

1. Воронцов К. В. Машинное обучение: курс лекций // MachineLearning.ru. - URL: http://www.recognition.su/wiki/index.php?title=Машинное_обучение_(курс_лекций%2C_К.В.Воронцов).
2. Проектирование баз данных: Распределенные базы и хранилища данных. Агрегирование // Национальный Открытый Университет «ИНТУИТ». URL: http://www.intuit.ru/studies/professional_retraining/953/courses/214/lecture/5508/
3. Бесплатные материалы по Data Engineering от преподавателей МФТИ https://fpmi-edu.ru/free-de
4. Курс “Машинное обучение”. https://ru.coursera.org/specializations/gcp-data-machine-learning#courses
5. Курс “Big Data Specialization”. https://www.coursera.org/specializations/big-data
6. Курс “Big Data и Data Science: начни погружение с нуля” https://stepik.org/course/101687/promo
7. Open Machine Learning Course
https://mlcourse.ai/book/index.html

Учебно-методические материалы

Методы, формы и технологии

Для достижения планируемых результатов обучение строится с использованием следующих:
методов: case-study, метод проектов, модульное обучение, проблемное обучение, контекстное обучение;
форм: лекции с использованием мультимедиа, практические занятия, самостоятельная работа.

Кроме того, обучение строится с применением технологий электронного обучения и дистанционных образовательных технологий.

Методические разработки

Обучающие материалы дисциплины представлены в виде видеолекций, текстовых и графических материалов, размещенных на образовательной платформе sprint.1T.

Материалы курса

Видеолекции
Текстовые материалы лекций
Инструкции для выполнения заданий
Обучающие задания с автоматизированной системой проверки и подсказками
Проверочные задания с автоматизированной системой проверки

Учебная литература

1. Брокман Д. Что мы думаем о машинах, которые думают: Ведущие мировые учёные об искусственном интеллекте – Альпина Паблишер, 2017.
2. Бруссард М. Искусственный интеллект: Пределы возможного – Альпина Паблишер, 2020.
3. Брэдшоу Шеннон, Брэзил Йон, Ходоров Кристина. MongoDB: полное руководство. - Москва: ДМК Пресс, 2020. - 540 с.
4. Томас Дэвенпорт. Внедрение искусственного интеллекта в бизнес-практику. Преимущества и сложности. − Альпина Паблишер, 2021. – 316 с.
5. Фальк Ким. Рекомендательные системы на практике. Практическое пособие. - Москва: ДМК Пресс, 2020. - 448 с.
6. Мартин Клеппман. Высоконагруженные приложения. Программирование, масштабирование, поддержка. − СПб: Питер, 2018. − 740 с.
7. Конвински Энди, Венделл Патрик, Захария Матей, Карау Холден. Изучаем Spark. Молниеносный анализ данных. - Москва: ДМК Пресс, 2015. - 304 с.
8. О’Коннелл М. Искусственный интеллект и будущее человечества – Litres, 2019.
9. Маркус Г., Дэвис Э. Искусственный интеллект: Перезагрузка. Как создать машинный разум, которому действительно можно доверять – Альпина Паблишер, 2021.
10. Болотова Ю.А., Друки А.А., Спицын В.Г. Методы и алгоритмы интеллектуальной обработки цифровых изображений. - Томск: Томский политехнический университет, 2016. - 208 с.
11. Деревянко, М.Э.; Нилова Н.М. Обзор современных информационных систем управления бизнес-процессами – 2021.
12. Еременко К. Работа с данными в любой сфере: как выйти на новый уровень, используя аналитику – Альпина Паблишер, 2019.
13. Каменнова, М.С.; Машков, И.В.; Крохин, В.В. Моделирование бизнес-процессов В 2 ч. Часть 2. – 2019.
14. Карпова И.П. Базы данных. Учебное пособие. - Санкт-Петербург: Питер, 2021. - 240 с.
15. Аналитика Больших данных как инструмент бизнес-инноваций. [Электронный ресурс]. - Режим доступа: https://filearchive.cnews.ru/img/files/2019/05/27/20190424idchitachiwpbdafin.pdf
16. Большие данные в социальных и гуманитарных науках: Сб. обзоров и рефератов / РАН. ИНИОН. Центр науч.-информ. исслед. по науке, образованию и технологиям; отв. ред. – Гребенщикова Е.Г. – М., 2019. – 193 с. – (Сер.: Наука, образование и технологии).
17. Миронов В. Профессия «бизнес-аналитик». Краткое пособие для начинающих – Litres, 2021.
18. Понкин, И.В.; Лаптева А.И. Методология научных исследований и прикладной аналитики: учебник – 2 изд., доп. и перераб. – 2021.Рафалович В. Data mining, или интеллектуальный анализ данных для занятых. Практический курс – Litres, 2022.
19. Акулин, Е.В. Специфика и особенности задач системного анализа //Актуальные проблемы теории и практики развития научных – 2022. – С. 20.
20. Алфимов, В.А. Использование R/S-анализа и фрактальной теории при анализе финансовых временных рядов //Современные наука и образование: достижения и перспективы развития – 2021. – С. 8-13.
21. Будасова, В.А. Методы технического анализа рынка //Цифровая экономика-инструмент и среда общественного развития – 2021. – С. 18-21.
22. Городнова, Н.В. Применение искусственного интеллекта в бизнес-сфере: современное состояние и перспективы // Вопросы инновационной экономики. – 2021. – Том 11. – № 4. – С. 1473-1492. – doi: 10.18334/vinec.11.4.112249.
23. Доржиева В.В. Цифровизация промышленности: роль искусственного интеллекта и возможности для России // Вопросы инновационной экономики. – 2022. – Т. 12. № 4. – С. 2383-2394.
24. Еременко К. Работа с данными в любой сфере. Как выйти на новый уровень, используя аналитику – Москва, 2018. – С. 20-58.
25. Звягин, Л.С. Использование прикладного системного анализа как инструмента моделирования для управления бизнесом //Хроноэкономика – 2019. – №. 7 (20). – С. 26-31.
26. Кондуров, И.В.; Тушев А.Н. Лидерство бизнес-и системного аналитика на IT-рынке //Программно-техническое обеспечение автоматизированных систем – 2021. – С. 17-22.

Темы

Раздел 1.1 Введение в анализ данных. Тема 1. Введение в анализ данных. Профессия технический аналитик Тема 2. Определение искусственного интеллекта и BigData. Применения искусственного интеллекта в различных областях Раздел 1.2. Инструменты, библиотеки и технологии анализа данных. Тема 1. Знакомство с синтаксисом языка Python и средой разработки Jupyter Notebook. Обзор языка R Тема 2. Работа с библиотеками Python Тема 3. Работа с внешними API и протоколом http. Парсинг. Интернет данных Тема 4. Системы обработки и анализа больших массивов данных (Hadoop, ETL, Spark и др.) Раздел 1.3 Технологии хранения и обработки больших данных. Тема 1. Виды представления данных: табличные, графовые, временные ряды. Качество данных, подходы и инструменты Тема 2. Платформы данных. Тема 3. Введение в теорию БД. Основы языка SQL. Тема 4. SQL базы данных Тема 5. Базы данных NoSQL Тема 6. Массово параллельная обработка и анализ данных Тема 7. Знакомство с СУБД Postgres. Обзор GreenPlum Тема 8. Моделирование данных Тема 9. Введение в СУБД Clickhouse Тема 10. Построение дашбордов с помощью Superset

Лекции
2,00ч

Практические занятия
2,00ч

Самостоятельная работа
2,00ч

Всего
6,00ч

Промежуточная аттестация 4,00 часа

Решение практико-ориентированных задач (кейсов).