Назад
Специалист по Big Data
Автономная некоммерческая организация дополнительного профессионального образования "Академия АйТи"
Описание
Большие данные (Big Data) — обозначение структурированных и неструктурированных данных, имеющих огромный объём и значительное многообразие. Управление большими данными предполагает создание и применение информационных технологий нового поколения, обеспечивающих экономически эффективное извлечение, статистическую обработку и визуализацию полезной информации из больших объемов разнообразных данных. Эти технологии применяются в информационно-аналитической деятельности, в системах управления и принятия решений, а также для разработки на их основе новых продуктов и услуг с дальнейшим проведением машинного обучения. В рамках курса будут изучены основы программирования на языке Python для разработки программ для анализа и визуализации больших данных, специальные методы, позволяющие обрабатывать, анализировать, визуализировать, проверять и вычищать данные от имеющихся пропусков и ошибок, а также основы статистики для первичной обработки данных и выявления имеющихся тенденций.
После изучения курса слушатели будут
знать:
- методы анализа больших данных на всех этапах жизненного цикла методологической и технологической инфраструктуры в организации;
уметь:
- загружать данные из разных источников;
- собирать, очищать, подготавливать и объединять полученные данные;
- производить сцепление и наложение данных, слияние и замену значений;
- работать с пропущенными значениями, повторами, объединением и переформированием данных;
- осуществлять фильтрацию, группировку, агрегацию и выполнять описательную статистики
- вычислять центральную тенденции, среднее, медиану и моду;
- выполнять разведывательный анализ, вычислять дисперсию, стандартное отклонение, ковариации, корреляции, строить распределение и заниматься постановкой гипотез
- применять методы и технологии исследования больших данных;
владеть навыками:
- разработки продуктов, услуг и решений на основе больших данных,
- анализа больших данных с использованием существующей в организации методологической и технологической инфраструктуры.
Часов в программе
Цель программы
Актуальность
Программа профессиональной переподготовки отвечает новым требованиям к ключевым компетенциям цифровой экономики: умению учиться в условиях постоянно меняющихся реалий, решать задачи в технологически насыщенной среде, управлять информацией и данными.
После окончания курсов слушатели приобретут возможность ведения профессиональной деятельности в новой сфере для лиц, не имеющих базового образования в области программирования и работы с большими данными, так и смогут расширить имеющуюся сферу деятельности программиста, руководителя служб и подразделений в сфере информационно-коммуникационных технологий или системного аналитика. Зарплата такого специалиста в регионах составляет не менее 50 тысяч рублей, в столице не менее 80 тысяч, а в среднем 120-180 тысяч рублей.
Входная диагностика 1 час
Задачи входной диагностики:
• Прогнозирование возможности успешного обучения;
• Определение мотивационной готовности слушателей;
• Определение базового уровня знаний и умений слушателей.
Входная диагностика охватывает всех обучаемых и проводится в форме тестирования.
Входное тестирование предназначено для самоопределения слушателями уровня знаний, разработано с учетом последующей возможности сопоставления полученных данных с итоговой аттестацией. Тестирование проводится в системе дистанционного обучения. На прохождение входного тестирования дается одна попытка. Тест включает в себя 15 вопросов.
Итоговая аттестация 6 часов
Компетенции
Общепрофессиональные
Способность осуществлять поиск, хранение, обработку и анализ информации из различных источников и баз данных, представлять ее в требуемом формате с использованием информационных, компьютерных и сетевых технологий
Типы больших данных: метаданные, полуструктурированные, структурированные, неструктурированные
Виды источников данных: созданные человеком, созданные машинами. Источники информации, в том числе информации, необходимой для обеспечения деятельности в предметной области заказчика исследования. Технологии хранения и обработки больших данных в организации: базы данных, хранилища данных, распределенная и параллельная обработка данных, вычисления в оперативной памяти
Использовать инструментальные средства для извлечения, преобразования, хранения и обработки данных из разнородных источников, в том числе в режиме реального времени.
Владеть:Навык определения источников больших данных для анализа, идентификация внешних и внутренних источников данных для проведения аналитических работ. Навык получения и фильтрация больших объемов данных из гетерогенных источников
Профессиональные
Способность решения задач алгоритмизации и написания программного кода для анализа больших данных с использованием языков программирования
Методы и инструменты получения и приобретения больших данных.
Методы и инструменты извлечения, преобразования, загрузки и обработки больших данных. Современный опыт использования технологий больших данных в части разработки новых методов, моделей, алгоритмов, технологий и инструментальных средств.
Программировать на языках высокого уровня, ориентированных на работу с большими данными: для статистической обработки данных и работы с графикой, для работы с разрозненными фрагментами данных в больших массивах, для работы с базами структурированных и неструктурированных данных.
Владеть:Навыком применения технологий больших данных в практических задачах предметной области. Навыком применения современных и перспективных средств визуализации и интерпретации больших данных с использованием языков программирования.
Способность прогнозирования и визуализации на основе интеллектуальной обработки массива информации
Методы интерпретации и визуализации больших данных. Технологии анализа данных.
Уметь:Проводить интеграцию и преобразование больших объемов данных. Формировать предложения по использованию результатов анализа. Оформлять результаты аналитического исследования для представления заказчику
Владеть:Навык осуществлять интеграцию и преобразование данных в ходе работ по анализу больших данных. Выбор средств представления результатов аналитики больших данных. Навык формирования предложений по развитию существующей методологической и технологической инфраструктуры анализа больших данных на основе выполненных работ
Способность управления на основе анализа больших данных на всех этапах жизненного цикла методологической и технологической инфраструктуры в организации
Предметную область анализа больших данных в соответствии с требованиями заказчика. Современный опыт использования анализа больших данных. Теоретические и прикладные основы анализа данных. Типы анализа больших данных, виды аналитики.
Теория вероятностей и математическая статистика. Современные методы и инструментальные средства анализа больших данных.
Использовать имеющуюся у исполнителя методологическую и технологическую инфраструктуру анализа больших данных для выполнения аналитических работ. Проводить сравнительный анализ методов и инструментальных средств анализа больших данных.
Владеть:Навык анализа и выбора методов и методик анализа больших данных и составления рекомендации по их использованию.
Требования
Нет
Образование
- Высшее образование
- Среднее профессиональное образование
Модули
свернуть
151,00ч
78,00ч
60,00ч
151,00ч
60,00ч
78,00ч
Преподаватели
Рулёв
Сергей Викторович
Автономная некоммерческая организация дополнительного профессионального образования "Академия АйТи"
Преподаватель-практик, имеющий многолетний опыт работы финансовым директором в крупнейших российских компаниях. Обладатель статусов MCT (MICROSOFT CERTIFIED TRAINER), MCP (MICROSOFT CERTIFIED PROFESSIONAL), а так же степени MBA (Master of Business Administration, Магистр Делового Администрирования), полученной в Американском Институте Бизнеса и Экономики.
Профстандарт
Специалист по большим данным
06.042Ответственный за программу
+79677403554