Big Data в вузе

Большие Данные (или Big Data) – одно из направлений федерального проекта «Цифровые технологии», запущенного в рамках национальной программы «Цифровая экономика Российской Федерации». Системы класса Больших данных позволяют организовывать сбор, хранение и обработку как структурированных, так и неструктурированных данных, практически в неограниченных объемах. В вузах использование больших данных позволит повысить: качество образовательного процесса за счет развития предсказательной аналитики, конкурентоспособность образовательных программ и прогнозирование успешности их реализации за счет рекомендательных методик, полученных на основе анализа больших данных. Технологии Big Data позволят создавать и внедрять в вузы комплексный мониторинг успеваемости студентов, посещаемости занятий, библиотек, использования электронных и информационных ресурсов вуза, вовлеченности студентов не только в учебный процесс, но и в целом жизнь университета (например, участие в общеуниверситетских и факультетских мероприятиях, в научных сообществах и т.д.). И наконец, системы анализа больших данных обеспечат возможность персонализации учебного процесса. Программа повышения квалификации направлена на формирование профессиональной компетенции «Способен ставить и решать прикладные задачи по подготовке данных в вузе для проведения аналитических работ по исследованию больших данных с использованием инструментов Hadoop Common». Для успешного освоения программы обучающимся необходимо владеть базовыми компетенциями цифровой грамотности, в том числе навыками владения ПК и ОС Linux на уровне среднего или продвинутого пользователя; компетенциями в области алгоритмизации, базовыми знаниями в области языков программирования Java, Python и SQL. В процессе обучения по программе обучающимся рекомендуется просмотреть и прослушать все видеолекции и видеоролики по практическим занятиям, выполнить по каждой теме обязательные практические задания, проработать самостоятельно дополнительные материалы и выполнить задания для самостоятельной работы, после этого необходимо выполнить тесты по каждой теме и для успешного завершения обучения выполнить итоговый тест (70% верных ответов). Обучающиеся в результате освоения программы: будут знать сущность понятия «большие данные» и примеры применимости больших, в том числе в сфере высшего образования, концепцию распределенных вычислений MapReduce и особые техники использования MapReduce, компоненты программно-технических архитектур Hadoop и распределенной файловой системы HDFS, особенности реляционных и нереляционных баз данных и примеры использования этих баз данных в высшем образовании; существующие приложения Hadoop и интерфейсы взаимодействия с ними; походы к извлечению знаний из данных применительно к вузу; подходы и технологии обработки и анализа текстовых данных в вузе; будут уметь использовать возможности имеющейся в вузе технологической инфраструктуры больших данных, выбранные инструментальные средства для хранения, преобразования и обработки больших данных в вузе, а также облачные варианты технологической инфраструктуры больших данных применительно к вузу, будут иметь практический опыт работы с распределённой файловой системой HDFS; написания программного кода на Java и на Python для решения MapReduce задач применительно к высшему образованию; запуска MapReduce задач с помощью YARN; написания SQL-подобных запросов для создания выборок в Hive; написания скриптов Pig Latin для подготовки данных в вузе и проведения аналитических работ. В качестве бонуса в курсе предлагается развёртывание виртуальной машины с предустановленной инфраструктурой обработки больших данных. Результаты обучения по программе повышения квалификации будут востребованы при решении профессиональных задач по подготовке данных в вузе для проведения аналитических работ по исследованию больших данных. Данные исследования являются актуальными как для высшего образования, так и в целом для развития системы образования, они могут составлять один или нескольких этапов комплексных образовательных проектов, в том числе и для высшего образования. Полученная компетенция также может быть востребована в проектах по цифровизации высшего образования при участии специализированных информационно-вычислительных центров или их отдельных служб и подразделений.

Образование: среднее профессиональное, высшее

Квалификация: уровень квалификации не ниже 6

Наличие опыта профессиональной деятельности: обработка и анализ данных

Предварительное освоение иных дисциплин/курсов/модулей:

Образование: среднее профессиональное, высшее

Квалификация: уровень квалификации не ниже 6

Наличие опыта профессиональной деятельности: обработка и анализ данных

Предварительное освоение иных дисциплин/курсов/модулей: