Анализ больших данных
Финансовый университет при Правительстве Российской Федерации
Описание
Информационный ролик о программе (ПЦС)
Программа направлена на подготовку специалистов в области машинного обучения и анализа больших данных, на получение компетенций, необходимых для выполнения нового вида профессиональной деятельности - умения применять языки программирования SQL и Python для сбора, визуализации, анализа больших данных (Big data) и построение моделей машинного обучения, умения применять конкретные аналитические и продуктовые подходы при работе над реальными задачами маркетинговой и клиентской аналитики с помощью BI платформ. Программа разработана на основе профессионального стандарта «Бизнес-аналитик», утвержденного приказом Министерства труда и социальной защиты РФ от 25.09.2018 № 592н; и профессионального стандарта "Специалист по большим данным", утвержденного приказом Министерства труда и социальной защиты РФ от 6 июля 2020 года N 405н., а также на основе анализа требований рынка труда и обобщения зарубежного опыта.
Программа имеет следующую структуру:
Модуль 1. Базовый
- Дисциплина 1. Введение в аналитику. Python для анализа данных
Цель дисциплины: приобретение слушателями компетенций, необходимых для понимания и эффективной работы в области анализа больших данных, инструментов и технологий, позволяющих анализировать результаты внутренних процессов организации с помощью Google таблиц и Data Studio, а также инструментами языка Python.
Содержание: создание отчетов в Google Data Studio; основы языка программирования Python; применение Python для анализа данных, методы pandas; библиотеки визуализации данных Matplotlib, Seaborn, Altair, Plotly Express.
- Дисциплина 2. Машинное обучение
Цель дисциплины: приобретение слушателями компетенций, необходимых для эффективной работы в области анализа больших данных машинного обучения; изучение инструментов и технологий создания, обучения, оценки и развертывания моделей машинного обучения
Содержание: приложения на основе машинного обучения; градиентный метод в машинном обучении; алгоритмы построения деревьев решений, критерии разделения; бэггинг, Random Forest, extremely randomized trees; бустинг; AdaBoost и градиентный бустинг над решающими деревьями; введение в кластерный анализ, алгоритм k-means; введение в нейронные сети; глубокие нейронные сети; фреймворки машинного обучения; автоматическое машинное обучение (AutoML)
- Дисциплина 3. Инструменты для сбора, хранения и обработки больших данных
Цель дисциплины: изучить основные термины, инструменты и методы, которые используют дата-аналитики; познакомиться с системами обработки больших данных и получить навыки анализа больших данных
Содержание: экосистема Hadoop, технология Spark, облачные технологии обработки больших данных; корпоративные хранилища данных Google BigQuery, Amazon Redshift, Microsoft Azure Synapse Analytics, Snowflake; применение SQL для аналитики больших данных; доступ к облачному сервису BigQuery из инструментов исследования данных Kaggle Notebooks, Colab Notebooks; машинное обучение в облачном сервисе BigQuery; обработка больших данных и машинное обучение в платформе Databricks Lakehouse.
Модуль 2. Профессиональный
- Дисциплина 4. Платформы науки о данных и машинного обучения
Цель дисциплины: приобретения слушателями компетенций для эффективного применения различных платформ машинного обучения и искусственного интеллекта для анализа больших данных.
Содержание: применение платформ Azure Machine Learning Studio, H2O.ai, RapidMiner, Knime Analytics Platform, Trifacta для сбора и анализа больших данных; объединение мощи Apache Hadoop и Apache Spark с аналитическими платформами Data Science; машинное и глубокое обучение с использование графического интерфейса платформ на больших данных, размещенных в облачных хранилищах данных.
- Дисциплина 5. Технологии формирования многомерной интерактивной отчетности
Цель дисциплины: приобретение слушателями компетенций, необходимых для выработки возможных решений посредством сбора и анализа больших данных и элементами информации бизнес-анализа; маркетинговая и клиентская аналитика больших данных с помощью различных BI платформ.
Содержание: существующие программные решения для OLAP-моделирования; технологии Tableau, Power BI и Qlik Sense; клиентская и маркетинговая аналитика больших данных в платформах Tableau, Power BI и Qlik Sense; интеграция технологий визуальной аналитики и машинного обучения для анализа больших данных.
- Дисциплина 6. Маркетинговая и клиентская аналитика с помощью BI платформ
Цель дисциплины: приобретение слушателями компетенций, необходимых для применения в маркетинговой и клиентской аналитике данных с помощью различных BI платформ.
Содержание: применение OLAP при решении аналитических задач: разведочный анализ, исследование данных, аналитическая отчетность, финансовый анализ и др. в платформе Loginom; выполнения ABC, XYZ, ABC-XYZ -анализа в платформах Tableau, Power BI и Qlik Sense.
- Практическая подготовка основана на выполнении практикумов и составляет более 50% работы слушателей с преподавателями. Итоговая аттестация проходит в форме индивидуального практического задания.
- Занятия проводят опытные преподаватели в сфере бизнес-информатики Финансового университета и специалисты-практики в сфере анализа больших данных и машинного обучения.
Часов в программе
Цель программы
Актуальность
В результате обучения по данной программе Вы получите новый вид профессиональной деятельности или расширите имеющиеся компетенции для продвижения по карьерной лестнице в Вашей организации, а также вы сможете начать свой бизнес.
Входная диагностика 1 час
Итоговая аттестация 3 часа
Компетенции
Общепрофессиональные
ОПК-1 – способность использовать прикладное программное обеспечение при решении профессиональных задач
- информационные технологии (программное обеспечение), применяемые в организации, в объеме, необходимом для целей бизнес-анализа в области больших данных (Big Data);
Уметь:- выбирать необходимое прикладное программное обеспечение в зависимости от решаемой задачи в области больших данных;
- применять информационные технологии в объеме, необходимом для целей бизнес-анализа;
- профессиональными пакетами прикладных программ, Power BI Desktop, Qlik Sense, Tableau, для информационно-аналитического сопровождения деятельности в области больших данных;
- инструментами и технологиями выявления, сбора и анализа информации бизнес-анализа для формирования возможных решений с помощью Azure ML Studio, KNIME Analytics Platform, RapidMiner Studio, Loginom.
ОПК-2 - способность осуществлять поиск, критически анализировать, обобщать и систематизировать информацию, использовать системный подход для решения поставленных задач.
- возможности и особенности технологий сбора, хранения и анализа больших данных, технологии OLAP и Data Mining;
- методы сбора, анализа, систематизации, хранения и поддержания в актуальном состоянии информации бизнес-анализа в области больших данных
- определять связи и зависимости между элементами информации бизнес-анализа в области больших данных;
- использовать современные информационные технологии аналитики, технологии OLAP и Data Mining для информационно-аналитического сопровождения деятельности организации;
- анализом потребностей заинтересованных сторон в области больших данных (Big Data);
- инструментами и технологиями выявления, сбора и анализа информации бизнес-анализа для формирования возможных решений в области больших данных (Big Data) .
ОПК-3 – способность к постановке целей и задач исследований, выбору оптимальных путей и методов их достижения
- предметную область и специфику деятельности организации в объеме, достаточном для решения задач бизнес-анализа в области больших данных (Big Data)
Уметь:- самостоятельно определять цели исследования и ставить задачи в области больших данных (Big Data)
Владеть:- навыками получения, анализа, обобщения и систематизации информации, используемой в производственном процессе в области больших данных (Big Data)
Профессиональные
ПК-1 – способность к сбору информации о бизнес-проблемах или бизнес-возможностях в области больших данных
- предметную область и специфику деятельности организации в объеме, достаточном для решения задач бизнес-анализа в области больших данных (Big Data);
- основы SQL - функции SELECT, WHERE, ORDER BY, LIKE, JOIN, Date и String, функции агрегирования SQL - SUM, AVG, COUNT, HAVING и GROUP BY;
- основы библиотек Python для Data Science: NumPy, Pandas, Matplotlib, scikit-learn.
- оформлять результаты бизнес-анализа в соответствии с выбранными подходами в области больших данных;
- анализировать внутренние (внешние) факторы и условия, влияющие на деятельность организации в области больших данных (Big Data).
- анализом потребностей заинтересованных сторон в области больших данных (Big Data);
- платформами научных исследований и машинного обучения для выявления закономерностей из больших данных Azure ML Studio, KNIME Analytics Platform, RapidMiner Studio, Loginom;
- навыками применения технологий машинного обучения платформ KNIME Analytics Platform, RapidMiner Studio для решения анализа больших данных и принятия решений.
ПК-2 – овладение анализом, обоснованием и выбором решения в области больших данных
- языки визуального моделирования в области больших данных;
- правила и методы построения OLAP-кубов, аналитических отчетов, дэшбордов, информационных панелей мониторинга и сторителлинга для получения знаний с целью поддержки принятия решений;
- информационные технологии (программное обеспечение), применяемые в организации, в объеме, необходимом для целей бизнес-анализа в области больших данных (Big Data);
- методику KDD (Knowledge Discovery in Databases), используемую при разработке моделей и решении стандартных задач Data Mining.
- анализировать внутренние (внешние) факторы и условия, влияющие на деятельность организации в области больших данных (Big Data);
- определять связи и зависимости между элементами информации бизнес-анализа в области больших данных;
- применять методы машинного обучения в облачных хранилищах Google BigQuery (Amazon Redshift, Snowflake) на SQL;
- проводить оценку эффективности решения с точки зрения выбранных критериев в области больших данных.
- методами анализа решений с точки зрения достижения целевых показателей решений в области больших данных;
- технологиями оценки ресурсов, необходимых для реализации решений в области больших данных;
- методами применения фреймворков машинного обучения: scikit-learn, XGBoost, LightGBM, CatBoost, PyCaret, H2O AutoML, AutoGluon, TensorFlow, AutoKeras для решения задач классификации и регрессии изображений и текстов на табличных данных.
ПК-3 – способность к подготовке данных для проведения аналитических работ по исследованию больших данных
-теоретические и прикладные основы анализа больших данных;
-современные методы и инструментальные средства анализа больших данных (Big Data);
- типы больших данных: метаданные, полуструктурированные, структурированные, неструктурированные;
- облачные технологии, облачные сервисы в области больших данных.
- разрабатывать и оценивать модели больших данных;
- использовать OLAP-технологии и технологии интерактивной визуализации данных;;
- проводить интеграцию и преобразование больших объемов данных;
- оценивать стоимость данных для проведения аналитических работ области больших данных.
- источниками больших данных для анализа, идентификация внешних и внутренних источников данных для проведения аналитических работ;
- инструментами формирования аналитических отчетов, интерактивных дашбордов для анализа больших данных в Power BI Desktop, Qlik Sense, Tableau.
ПК-4 – способность проведения аналитического исследования с применением технологий больших данных в соответствии с требованиями заказчика
- предметную область анализа больших данных;
-теоретические и прикладные основы анализа больших данных;
-современные методы и инструментальные средства анализа больших данных (Big Data);
- технологии анализа данных: статистический анализ, семантический анализ, анализ изображений, машинное обучение, методы сравнения средних, частотный анализ, анализ соответствий, кластерный анализ, дискриминантный анализ, факторный анализ, деревья классификации, многомерное шкалирование, моделирование структурными уравнениями, методы анализа выживаемости, временные ряды, планирование экспериментов, карты контроля качества;
- типы больших данных: метаданные, полуструктурированные, структурированные, неструктурированные;
- распределенный анализ данных;
- методы машинного обучения в облачных хранилищах Google BigQuery (Amazon Redshift, Snowflake) на SQL.
- разрабатывать и оценивать модели больших данных;
- использовать инструментальные средства для извлечения, преобразования, хранения и обработки больших данных из разнородных источников, в том числе в режиме реального времени;
- проводить сравнительный анализ методов и инструментальных средств анализа больших данных (Big Data).
- методами и инструментальными средствами разработки интерактивных дашбордов для анализа больших данных в Power BI Desktop, Qlik Sense, Tableau;
- методами разработки, поверки и оценка используемых моделей больших данных (Big Data);
- методами адаптации и развертывания моделей больших данных в предметной среде.
Требования
Для обучения по данной программе требуется наличие стационарного компьютера или ноутбука с Windows ориентированной системой 64-разрядной версии, все рекомендации по установке требуемого ПО в процессе обучения размещаются на курсе в соответствующих разделах программы.
Образование
- Высшее образование
- Среднее профессиональное образование
Иные требования и рекомендации для обучения по программе
Для обучения по данной программе требуется наличие стационарного компьютера или ноутбука с Windows ориентированной системой 64-разрядной версии, все рекомендации по установке требуемого ПО в процессе обучения размещаются на курсе в соответствующих разделах программы.
Модули
свернутьПреподаватели

Сахнюк
Павел Анатольевич
Финансовый университет при Правительстве Российской Федерации
Доцент кафедры кафедры бизнес-информатики Факультета информационных технологий и анализа больших данных Финансового университета
кандидат технических наук
доцент
https://leader-id.ru/users/1145518
Олейниченко
Олег Иванович
Финансовый университет при Правительстве Российской Федерации
директор Института развития профессиональных компетенций и квалификаций
кандидат экономических наук
доцент
https://leader-id.ru/users/483540Бунин
Роман Алексеевич
ООО "Яндекс Такси Технологии"
руководитель проекта
кандидат технических наук

Крапивина
Наталья Юрьевна
Финансовый университет при Правительстве Российской Федерации
директор Центра современных технологий в образовании Института развития профессиональных компетенций и квалификаций
https://leader-id.ru/users/2183720Ильин
Сергей Николаевич
АО "Производственная система "Росатом"
руководитель проекта
Профстандарт
Профстандарт «Бизнес-аналитик», утвержденный приказом Министерства труда и соцзащиты РФ от 25.09.2018 № 592н и Профстандарт "Специалист по большим данным" утвержденный приказом Минтруда и соцзащиты РФ от 6 июля 2020 года № 405н
08.037Ответственный за программу
+74992772807