Архитектор данных
1ТОписание
Программа разработана с учетом потребностей обучающихся, которые хотят продолжить карьеру в IT в качестве архитектора данных.
#архитектор_данных #искусственный_интеллект #большие_данные #Python #машинное_обучение
Курс включает изучение принципов работы с большими данными, технологий анализа данных и основных библиотек Python, необходимых для обработки, вычислений и визуализации данных, введение в системное администрирование больших данных, погружение в машинное обучение и нейронные сети. Вы погрузитесь в теорию хранения данных, научитесь потоковой обработке данных, управлению ресурсами и обеспечению масштабирования архитектур больших данных. Программа нацелена на получение практических навыков работы с данными, проектирования и построения архитектур данных в области искусственного интеллекта.
Программа повышения квалификации построена по модульному принципу, предполагает изучение теоретического материала и практическую отработку полученных знаний.
Преимущества курса:
- Можно осваивать параллельно с получением среднего профессионального образования или высшего образования, основной работой без отрыва от производства.
- В основе – передовые и наиболее востребованные методы, приемы, технологии работы с большими данными.
- Использование современного программного обеспечения.
- Дистанционный формат, удобный график и темп обучения.
- Персональное сопровождение и поддержка обучающихся.
- Интерактивный формат подачи учебного материала.
Часов в программе
Цель программы
Актуальность
Одним из механизмов, направленных на формирование и развитие оптимальной модели управления системой образования Российской Федерации как весомым общественным институтом, для достижения высоких качественных показателей, повышения социальной и экономической эффективности функционирования национальной системы образования, внедрения инновационных разработок по прорывным технологиям выступает реализация комплекса мероприятий государственной политики в форме государственных программ. В частности, на сегодняшний день в рамках государственной программы «Научно-технологическое развитие Российской Федерации» реализуется множество мероприятий, посвященных вопросам профессиональной подготовки высококвалифицированных кадров для перспективных отраслей экономики Российской Федерации, что обеспечит рост кадрового потенциала цифровой экономики, при этом граждане получат новые возможности и мотивацию для освоения цифровых компетенций.
Согласно «Национальной стратегии развития искусственного интеллекта на период до 2030 года», утверждённой Указом Президента РФ от 10.10.2019 г. № 409 (далее – Стратегия), под искусственным интеллектом в Программе развития понимается комплекс технологических решений, позволяющий имитировать когнитивные функции человека (включая самообучение и поиск решений без заранее заданного алгоритма) и получать при выполнении конкретных задач результаты, сопоставимые, как минимум, с результатами интеллектуальной деятельности человека. Следовательно, необходимо повышение эффективности процессов планирования, прогнозирования и принятия управленческих решений, использование автономного интеллектуального оборудования и робототехнических комплексов, интеллектуальных систем управления логистикой для продуктивной реализации задач указанной Стратегии на основе технологий искусственного интеллекта.
Согласно Стратегии научно-технологического развития Российской Федерации, утвержденной Указом Президента Российской Федерации от 1 декабря 2016 г. № 642, одним из приоритетных направлений научно-технического развития Российской Федерации выступает создание технологий, являющихся основой инновационного развития внутреннего рынка продуктов и услуг, что может быть осуществлено за счет перехода к цифровым, интеллектуальным производственным технологиям, роботизированным системам, новым материалам и способам конструирования, создания систем обработки больших объемов данных, машинного обучения и искусственного интеллекта.
В 2020 году в Российской Федерации был дан старт федеральному проекту «Искусственный интеллект» национального проекта «Цифровая экономика», ключевым направлением которого стало развитие рынка ИИ, а также создания условий использования предприятиями и гражданами продуктов и услуг, основанных на преимущественно отечественных технологиях искусственного интеллекта, посредством которых достигается качественно новый уровень эффективности деятельности.
В условиях постоянного роста потока разнородных данных при реализации различных проектов в области ИИ необходима автоматизация бизнес-процессов, которая должна быть основана на применении действительно нужных данных, что требует повышенного внимания к архитектуре данных проекта, архитектуре управления потоками данных, правилам их обработки. Это значительно повышает роль такого специалиста как архитектор данных. Архитектура данных в современных информационных и аналитических системах должна учитывать и требования конечной задачи, и особенности представления данных для их хранения и обработки, а также специфику и требования трудоёмких алгоритмов анализа данных с использованием технологий ИИ.
Архитектор данных стремится обеспечить организацию, доступность, безопасность и актуальность данных, отвечает за проектирование систем и процессов, которые хранят и используют данные, роль которых чрезвычайно важна. В деятельности архитектора данных определяющим является обеспечение того, чтобы различные элементы системы гармонично сочетались друг с другом, создавая по базе технологий ИИ решение, которое удовлетворяет различные потребности всех конечных пользователей. Таким образом, актуализируется задача подготовки кадров соответствующей квалификации (архитектор данных) с учетом потребностей бизнеса к квалификации специалистов в области искусственного интеллекта.
К ключевым задачам архитектора данных относятся: проектирование логических и физических структур систем данных (хранилища данных), создание моделей данных, определяющих порядок организации, хранения, доступа и обслуживания данных, умение работать с новыми технологиями и интегрировать их в общую архитектуру данных (облачные вычисления, озера данных), работа с инженерами по данным для обеспечения развития и бесперебойной работы конвейеров данных, процессов ETL и других процессов, связанных с данными, участие в разработке бизнес-стратегии высокого уровня и перевод практических целей организации в практические задачи и проектирование систем.
Входная диагностика 1 час
Итоговая аттестация 8 часов
Компетенции
Профессиональные
Способен классифицировать и идентифицировать задачи искусственного интеллекта, выбирать адекватные методы и инструментальные средства решения задач искусственного интеллекта
− определения, историю развития и главные тренды искусственного интеллекта;
− архитектуру, принципы, процесс, стадии и методологии разработки решений на основе ИИ;
− методы и инструментальные средства решения задач искусственного интеллекта.
− осуществлять поиск информации о новых и перспективных методах анализа больших данных, выполнять сравнительный анализ методов.
Владеть:− культурой постановки и планирования последовательности решения задач анализа данных и классификации;
− навыками анализа реальных задач из различных предметных областей на уровне отдельных подходов и коллективами алгоритмов.
Способен применять методы и программные средства автоматизированного логического вывода и автоматизированной проверки гипотез
− методы автоматизированной генерации и проверки гипотез в сфере исследовательской деятельности;
− основные принципы логического вывода и проверки гипотез в контексте анализа данных;
− теоретические основы алгоритмов, используемых для автоматизированного логического вывода и проверки гипотез;
− инструменты и технологии, применяемые для реализации автоматизированного логического вывода и проверки гипотез в сфере анализа данных.
− настраивать, конфигурировать и адаптировать программные средства автоматизированного логического вывода в сфере исследовательской деятельности;
− разрабатывать и настраивать алгоритмы автоматизированного логического вывода и проверки гипотез, учитывая специфику исследовательской деятельности;
− проектировать и настраивать конфигурации программных средств для эффективного применения методов автоматизированного логического вывода и проверки гипотез;
− проводить адаптацию и оптимизацию программных решений для учета требований и специфики конкретных задач.
− программными инструментами, позволяющими осуществлять автоматизированный логический вывод и проверку гипотез, такими как инструменты теории машинного обучения, статистические пакеты, инструменты символьного вычисления и другие соответствующие технологии;
− техниками и методами, используемыми для применения программных средств автоматизированного логического вывода в различных областях исследовательской деятельности;
− навыками использования различных инструментов и технологий в рамках процесса автоматизации логического вывода и проверки гипотез.
Способен разрабатывать и тестировать программные компоненты решения задач в системах искусственного интеллекта
− функции, задачи, навыки, содержание работы архитектора данных;
− архитектуру, принципы, процесс, стадии и методологии разработки решений на основе ИИ;
− синтаксис и семантику основных языков искусственного интеллекта (Python, JAVA/С#/С++/Scala) и основные приемы программирования на них;
− среды разработки программных компонентов;
− решение задач в системах искусственного интеллекта;
− методы и программный инструментарий для тестирования программных компонентов.
− применять методы машинного обучения для работы с большими данными;
− применять методы машинного обучения для тестирования программных компонентов;
− проводить тестирование систем искусственного интеллекта.
− языками программирования (Python, JAVA/С#/С++/Scala) для разработки программных компонентов решения задач в системах ИИ;
− основными инструментами для работы с данными (Git, Docker, CI/CD, Jupyter notebook, kaggle, Nvidia Cuda, VS, IntelliJIdea);
− навыками работы с основными библиотеками Python (Matplotlib, Seaborn, Plotly);
− навыками работы с библиотеками, программными платформами для автоматизации процессов тестирования.
Способен разрабатывать и применять методы машинного обучения для решения задач
− основные типы, источники больших данных, проблемы безопасности;
− методы и программный инструментарий технологий больших данных;
− базовые понятия и возможности теории игр для их применения в области машинного обучения и искусственного интеллекта;
− системы обработки и анализа больших массивов данных (SQL, NoSQL, Hadoop, SPARK и др.): принципы работы, функционал, язык запросов, преимущества и недостатки;
− технологии, методы и инструменты машинного обучения для решения профессиональных задач.
− применять методы машинного обучения для работы с большими данными.
Владеть:− навыками работы с библиотеками, программными платформами (фреймворками) и программными комплексами машинного обучения.
Способен использовать системы искусственного интеллекта на основе нейросетевых моделей и методов
− нейронные сети: полносвязные, свёрточные и рекуррентные нейронные сети;
− методы обучения нейронных сетей;
− нейросетевые методы понижения размерности.
− применять методы машинного обучения и нейронных сетей.
Владеть:− навыком построения полносвязной нейронной сети для задачи классификации;
− основными принципами, возможностями и порядком применения методов обучения с учителем и без учителя для решения задач классификации данных.
Способен создавать и поддерживать системы искусственного интеллекта на основе нейросетевых моделей и методов
− архитектуры современных нейронных сетей и их использование для решения профессиональных задач
Уметь:− поддерживать системы искусственного интеллекта на основе нейросетевых моделей и методов
Владеть:− способами улучшить качество модели с помощью методов Feature engineering;
− навыком использования библиотеки PyTorch, применения GPU в PyTorch;
− навыком построения полносвязной нейронной сети для задачи классификации;
− основными принципами, возможностями и порядком применения методов обучения с учителем и без учителя для решения задач классификации данных;
− методами машинного обучения и нейронных сетей.
Способен осуществлять сбор и подготовку данных для систем искусственного интеллекта
− методы, инструментальные средства и стандарты статистического и описательного анализа данных;
− основные платформы данных (облачные и внутрикорпоративные), применяемые при разработке решений на основе ИИ;
− основные виды представления данных: табличные, графовые, временные ряды;
− основные уровни представления данных;
− использовать основные статистические методы анализа данных;
− моделировать данные в хранилищах (DWH, Data Lake, NoSQL хранилища данных);
− навыком создания логической и физической базы данных;
− навыком BI-аналитики;
− языками запросов для обращения к СУБД.
Способен создавать и внедрять одну или несколько сквозных цифровых субтехнологий искусственного интеллекта
− понятие сквозных цифровых субтехнологий искусственного интеллекта;
− методы и технологии внедрения сквозных цифровых субтехнологий искусственного интеллекта.
− внедрять технологии компьютерного зрения для обработки изображений и видео, задач биометрии;
− внедрять технологии обработки естественного языка для анализа и генерации текстов;
− внедрять технологии обучения с подкреплением для задач автоматизации производства и транспорта.
− навыком работы с генеративными моделями GAN для задач генерации;
− навыком работы с автокодировщиками для задач уменьшения размерности и поиска аномалий;
− навыком работы с технологией RL - обучения с подкреплением.
Требования
Требования к уровню подготовленности, определяемому контрольно-измерительными материалами.
Обучающиеся должны обладать следующими знаниями, умениями и владеть навыками:
Умение писать программы на каком-либо императивном языке программирования (Java, Python, C# и т.п.).
PYTHON:
- Знание синтаксиса языка.
- Понимание базовых структур данных.
- Иметь базовое представление о работе популярных алгоритмах (бинарный поиск, рекурсия и т. д.).
- Базовое представление о скорости работы алгоритмов («О» большое).
- Иметь базовое представление о работе с модулем Pandas и Numpy.
SQL:
- Знание базового синтаксиса (SELECT, WHERE, GROUP BY, HAVING).
- Умение составлять подзапросы и делать все виды JOIN.
- Навык работы с вложенными запросами.
ИНФРАСТРУКТУРА:
- Умение работать с командной строкой.
- Знание базовых команд Linux.
- Навыки работы с Git.
- Базовое знание Docker.
МАШИННОЕ ОБУЧЕНИЕ:
- Знание классических моделей (линейные модели и решающие деревья).
- Знание классических метрик качества модели (accuracy, MSE, RMSE).
Квалификация
Владение необходимыми профессиональными компетенциями
– способен использовать и адаптировать существующие математические методы и системы программирования для разработки и реализации алгоритмов решения прикладных задач;
– способен применять и модифицировать математические модели для решения задач в области профессиональной деятельности;
– владеет широкой общей подготовкой (базовыми знаниями) для решения практических задач в области информационных систем и технологий;
– способен использовать современные компьютерные технологии поиска информации для решения поставленной задачи, критического анализа этой информации и обоснования принятых идей и подходов к решению;
– способен выбирать и оценивать способ реализации информационных систем и устройств (программно-, аппаратно- или программно-аппаратно-) для решения поставленной задачи.
Иные требования и рекомендации для обучения по программе
Требования к уровню подготовленности, определяемому контрольно-измерительными материалами.
Обучающиеся должны обладать следующими знаниями, умениями и владеть навыками:
Умение писать программы на каком-либо императивном языке программирования (Java, Python, C# и т.п.).
PYTHON:
- Знание синтаксиса языка.
- Понимание базовых структур данных.
- Иметь базовое представление о работе популярных алгоритмах (бинарный поиск, рекурсия и т. д.).
- Базовое представление о скорости работы алгоритмов («О» большое).
- Иметь базовое представление о работе с модулем Pandas и Numpy.
SQL:
- Знание базового синтаксиса (SELECT, WHERE, GROUP BY, HAVING).
- Умение составлять подзапросы и делать все виды JOIN.
- Навык работы с вложенными запросами.
ИНФРАСТРУКТУРА:
- Умение работать с командной строкой.
- Знание базовых команд Linux.
- Навыки работы с Git.
- Базовое знание Docker.
МАШИННОЕ ОБУЧЕНИЕ:
- Знание классических моделей (линейные модели и решающие деревья).
- Знание классических метрик качества модели (accuracy, MSE, RMSE).
Модули
свернутьПреподаватели
Борисов
Вадим Владимирович
Филиал НИУ «МЭИ» в г. Смоленске
Профессор кафедры вычислительной техники
Доктор технических наук
Профессор
Абанкина
Ирина Всеволодовна
НИУ «Высшая школа экономики»
Главный научный сотрудник, Центр финансово-экономических решений в образовании
Кандидат экономических наук
Мещеряков
Роман Валерьевич
Институт проблем управления им. В.А. Трапезникова РАН
Главный научный сотрудник
Доктор технических наук
Профессор
Панкратов
Денис Юрьевич
МТУСИ
Доцент кафедры «Системы и сети радиосвязи и телерадиовещания»
Кандидат технических наук
Набока
Михаил Викторович
Индивидуальный предприниматель
Сертифицированный BI Data Analyst
Кандидат технических наук
Борисов
Иван Сергеевич
1Т
Системный аналитик
Запорожец
Марина Владимировна
1Т
Инженер данных
Семененко
Анатолий Сергеевич
1Т
Системный аналитик, преподаватель ДПО
https://1t.ru/teacher-semenenkoСемчук
Дмитрий Борисович
ООО Верконт Сервис
Системный аналитик
Шумаков
Максим Витальевич
1Т
Ведущий разработчик
Профстандарт
Специалист по большим данным
06.042Специальность
Архитектор данных (Data Architect)
Ответственный за программу
+79993333307