III уровень

Архитектор данных

260 часов длительность
Онлайн формат
Продвинутый уровень
1 поток (закрыт) 03.06-02.09.2024
2 поток 02.09-25.11.2024

Описание

Программа разработана с учетом потребностей обучающихся, которые хотят продолжить карьеру в IT в качестве архитектора данных. 

#архитектор_данных #искусственный_интеллект #большие_данные #Python #машинное_обучение

Курс включает изучение принципов работы с большими данными, технологий анализа данных и основных библиотек Python, необходимых для обработки, вычислений и визуализации данных, введение в системное администрирование больших данных, погружение в машинное обучение и нейронные сети. Вы погрузитесь в теорию хранения данных, научитесь потоковой обработке данных, управлению ресурсами и обеспечению масштабирования архитектур больших данных. Программа нацелена на получение практических навыков работы с данными, проектирования и построения архитектур данных в области искусственного интеллекта.

Программа повышения квалификации построена по модульному принципу, предполагает изучение теоретического материала и практическую отработку полученных знаний.

Преимущества курса:

  • Можно осваивать параллельно с получением среднего профессионального образования или высшего образования, основной работой без отрыва от производства.
  • В основе – передовые и наиболее востребованные методы, приемы, технологии работы с большими данными.
  • Использование современного программного обеспечения.
  • Дистанционный формат, удобный график и темп обучения.
  • Персональное сопровождение и поддержка обучающихся.
  • Интерактивный формат подачи учебного материала.
Часов в программе
49 часов
лекции
121 час
практика
73 часа
самостоятельная
8 часов
промежуточная аттестация
1 час
входная диагностика
8 часов
итоговая аттестация
260 часов
всего
Цель программы
Получение обучающимися компетенций, необходимых для профессиональной деятельности архитектора данных для разработки и применения технологических решений в области искусственного интеллекта и в смежных областях.
Актуальность
Роль и характер работ в разных сферах экономики Российской Федерации продолжают претерпевать кардинальные реформации – появление новых компетенций и навыков применения инновационных инструментов стимулирует системность и последовательность в вопросах обеспечения непрерывного развития кадров в соответствии с глобальными трендами цифровизации, что предполагает широкое внедрение технологий искусственного интеллекта, анализа больших данных и машинного обучения, которые призваны стать элементом массового образования.
Одним из механизмов, направленных на формирование и развитие оптимальной модели управления системой образования Российской Федерации как весомым общественным институтом, для достижения высоких качественных показателей, повышения социальной и экономической эффективности функционирования национальной системы образования, внедрения инновационных разработок по прорывным технологиям выступает реализация комплекса мероприятий государственной политики в форме государственных программ. В частности, на сегодняшний день в рамках государственной программы «Научно-технологическое развитие Российской Федерации» реализуется множество мероприятий, посвященных вопросам профессиональной подготовки высококвалифицированных кадров для перспективных отраслей экономики Российской Федерации, что обеспечит рост кадрового потенциала цифровой экономики, при этом граждане получат новые возможности и мотивацию для освоения цифровых компетенций.
Согласно «Национальной стратегии развития искусственного интеллекта на период до 2030 года», утверждённой Указом Президента РФ от 10.10.2019 г. № 409 (далее – Стратегия), под искусственным интеллектом в Программе развития понимается комплекс технологических решений, позволяющий имитировать когнитивные функции человека (включая самообучение и поиск решений без заранее заданного алгоритма) и получать при выполнении конкретных задач результаты, сопоставимые, как минимум, с результатами интеллектуальной деятельности человека. Следовательно, необходимо повышение эффективности процессов планирования, прогнозирования и принятия управленческих решений, использование автономного интеллектуального оборудования и робототехнических комплексов, интеллектуальных систем управления логистикой для продуктивной реализации задач указанной Стратегии на основе технологий искусственного интеллекта.
Согласно Стратегии научно-технологического развития Российской Федерации, утвержденной Указом Президента Российской Федерации от 1 декабря 2016 г. № 642, одним из приоритетных направлений научно-технического развития Российской Федерации выступает создание технологий, являющихся основой инновационного развития внутреннего рынка продуктов и услуг, что может быть осуществлено за счет перехода к цифровым, интеллектуальным производственным технологиям, роботизированным системам, новым материалам и способам конструирования, создания систем обработки больших объемов данных, машинного обучения и искусственного интеллекта.
В 2020 году в Российской Федерации был дан старт федеральному проекту «Искусственный интеллект» национального проекта «Цифровая экономика», ключевым направлением которого стало развитие рынка ИИ, а также создания условий использования предприятиями и гражданами продуктов и услуг, основанных на преимущественно отечественных технологиях искусственного интеллекта, посредством которых достигается качественно новый уровень эффективности деятельности.
В условиях постоянного роста потока разнородных данных при реализации различных проектов в области ИИ необходима автоматизация бизнес-процессов, которая должна быть основана на применении действительно нужных данных, что требует повышенного внимания к архитектуре данных проекта, архитектуре управления потоками данных, правилам их обработки. Это значительно повышает роль такого специалиста как архитектор данных. Архитектура данных в современных информационных и аналитических системах должна учитывать и требования конечной задачи, и особенности представления данных для их хранения и обработки, а также специфику и требования трудоёмких алгоритмов анализа данных с использованием технологий ИИ.
Архитектор данных стремится обеспечить организацию, доступность, безопасность и актуальность данных, отвечает за проектирование систем и процессов, которые хранят и используют данные, роль которых чрезвычайно важна. В деятельности архитектора данных определяющим является обеспечение того, чтобы различные элементы системы гармонично сочетались друг с другом, создавая по базе технологий ИИ решение, которое удовлетворяет различные потребности всех конечных пользователей. Таким образом, актуализируется задача подготовки кадров соответствующей квалификации (архитектор данных) с учетом потребностей бизнеса к квалификации специалистов в области искусственного интеллекта.
К ключевым задачам архитектора данных относятся: проектирование логических и физических структур систем данных (хранилища данных), создание моделей данных, определяющих порядок организации, хранения, доступа и обслуживания данных, умение работать с новыми технологиями и интегрировать их в общую архитектуру данных (облачные вычисления, озера данных), работа с инженерами по данным для обеспечения развития и бесперебойной работы конвейеров данных, процессов ETL и других процессов, связанных с данными, участие в разработке бизнес-стратегии высокого уровня и перевод практических целей организации в практические задачи и проектирование систем.
Входная диагностика 1 час
Входная диагностика (вступительное испытание) проводится в тестовой форме
Итоговая аттестация 8 часов
Решение практико-ориентированных задач (кейсов)

Компетенции

Профессиональные


Способен классифицировать и идентифицировать задачи искусственного интеллекта, выбирать адекватные методы и инструментальные средства решения задач искусственного интеллекта
Знать:

− определения, историю развития и главные тренды искусственного интеллекта;
− архитектуру, принципы, процесс, стадии и методологии разработки решений на основе ИИ;
− методы и инструментальные средства решения задач искусственного интеллекта.

Уметь:

− осуществлять поиск информации о новых и перспективных методах анализа больших данных, выполнять сравнительный анализ методов.

Владеть:

− культурой постановки и планирования последовательности решения задач анализа данных и классификации;
− навыками анализа реальных задач из различных предметных областей на уровне отдельных подходов и коллективами алгоритмов.

Способен применять методы и программные средства автоматизированного логического вывода и автоматизированной проверки гипотез
Знать:

− методы автоматизированной генерации и проверки гипотез в сфере исследовательской деятельности;
− основные принципы логического вывода и проверки гипотез в контексте анализа данных;
− теоретические основы алгоритмов, используемых для автоматизированного логического вывода и проверки гипотез;
− инструменты и технологии, применяемые для реализации автоматизированного логического вывода и проверки гипотез в сфере анализа данных.

Уметь:

− настраивать, конфигурировать и адаптировать программные средства автоматизированного логического вывода в сфере исследовательской деятельности;
− разрабатывать и настраивать алгоритмы автоматизированного логического вывода и проверки гипотез, учитывая специфику исследовательской деятельности;
− проектировать и настраивать конфигурации программных средств для эффективного применения методов автоматизированного логического вывода и проверки гипотез;
− проводить адаптацию и оптимизацию программных решений для учета требований и специфики конкретных задач.

Владеть:

− программными инструментами, позволяющими осуществлять автоматизированный логический вывод и проверку гипотез, такими как инструменты теории машинного обучения, статистические пакеты, инструменты символьного вычисления и другие соответствующие технологии;
− техниками и методами, используемыми для применения программных средств автоматизированного логического вывода в различных областях исследовательской деятельности;
− навыками использования различных инструментов и технологий в рамках процесса автоматизации логического вывода и проверки гипотез.

Способен разрабатывать и тестировать программные компоненты решения задач в системах искусственного интеллекта
Знать:

− функции, задачи, навыки, содержание работы архитектора данных;
− архитектуру, принципы, процесс, стадии и методологии разработки решений на основе ИИ;
− синтаксис и семантику основных языков искусственного интеллекта (Python, JAVA/С#/С++/Scala) и основные приемы программирования на них;
− среды разработки программных компонентов;
− решение задач в системах искусственного интеллекта;
− методы и программный инструментарий для тестирования программных компонентов.

Уметь:

− применять методы машинного обучения для работы с большими данными;
− применять методы машинного обучения для тестирования программных компонентов;
− проводить тестирование систем искусственного интеллекта.

Владеть:

− языками программирования (Python, JAVA/С#/С++/Scala) для разработки программных компонентов решения задач в системах ИИ;
− основными инструментами для работы с данными (Git, Docker, CI/CD, Jupyter notebook, kaggle, Nvidia Cuda, VS, IntelliJIdea);
− навыками работы с основными библиотеками Python (Matplotlib, Seaborn, Plotly);
− навыками работы с библиотеками, программными платформами для автоматизации процессов тестирования.

Способен разрабатывать и применять методы машинного обучения для решения задач
Знать:

− основные типы, источники больших данных, проблемы безопасности;
− методы и программный инструментарий технологий больших данных;
− базовые понятия и возможности теории игр для их применения в области машинного обучения и искусственного интеллекта;
− системы обработки и анализа больших массивов данных (SQL, NoSQL, Hadoop, SPARK и др.): принципы работы, функционал, язык запросов, преимущества и недостатки;
− технологии, методы и инструменты машинного обучения для решения профессиональных задач.

Уметь:

− применять методы машинного обучения для работы с большими данными.

Владеть:

− навыками работы с библиотеками, программными платформами (фреймворками) и программными комплексами машинного обучения.

Способен использовать системы искусственного интеллекта на основе нейросетевых моделей и методов
Знать:

− нейронные сети: полносвязные, свёрточные и рекуррентные нейронные сети;
− методы обучения нейронных сетей;
− нейросетевые методы понижения размерности.

Уметь:

− применять методы машинного обучения и нейронных сетей.

Владеть:

− навыком построения полносвязной нейронной сети для задачи классификации;
− основными принципами, возможностями и порядком применения методов обучения с учителем и без учителя для решения задач классификации данных.

Способен создавать и поддерживать системы искусственного интеллекта на основе нейросетевых моделей и методов
Знать:

− архитектуры современных нейронных сетей и их использование для решения профессиональных задач

Уметь:

− поддерживать системы искусственного интеллекта на основе нейросетевых моделей и методов

Владеть:

− способами улучшить качество модели с помощью методов Feature engineering;
− навыком использования библиотеки PyTorch, применения GPU в PyTorch;
− навыком построения полносвязной нейронной сети для задачи классификации;
− основными принципами, возможностями и порядком применения методов обучения с учителем и без учителя для решения задач классификации данных;
− методами машинного обучения и нейронных сетей.

Способен осуществлять сбор и подготовку данных для систем искусственного интеллекта
Знать:

− методы, инструментальные средства и стандарты статистического и описательного анализа данных;
− основные платформы данных (облачные и внутрикорпоративные), применяемые при разработке решений на основе ИИ;
− основные виды представления данных: табличные, графовые, временные ряды;
− основные уровни представления данных;

Уметь:

− использовать основные статистические методы анализа данных;
− моделировать данные в хранилищах (DWH, Data Lake, NoSQL хранилища данных);

Владеть:

− навыком создания логической и физической базы данных;
− навыком BI-аналитики;
− языками запросов для обращения к СУБД.

Способен создавать и внедрять одну или несколько сквозных цифровых субтехнологий искусственного интеллекта
Знать:

− понятие сквозных цифровых субтехнологий искусственного интеллекта;
− методы и технологии внедрения сквозных цифровых субтехнологий искусственного интеллекта.

Уметь:

− внедрять технологии компьютерного зрения для обработки изображений и видео, задач биометрии;
− внедрять технологии обработки естественного языка для анализа и генерации текстов;
− внедрять технологии обучения с подкреплением для задач автоматизации производства и транспорта.

Владеть:

− навыком работы с генеративными моделями GAN для задач генерации;
− навыком работы с автокодировщиками для задач уменьшения размерности и поиска аномалий;
− навыком работы с технологией RL - обучения с подкреплением.

Требования

Требования к уровню подготовленности, определяемому контрольно-измерительными материалами.

Обучающиеся должны обладать следующими знаниями, умениями и владеть навыками:

Умение писать программы на каком-либо императивном языке программирования (Java, Python, C# и т.п.).

PYTHON:

  • Знание синтаксиса языка.
  • Понимание базовых структур данных.
  • Иметь базовое представление о работе популярных алгоритмах (бинарный поиск, рекурсия и т. д.).
  • Базовое представление о скорости работы алгоритмов («О» большое).
  • Иметь базовое представление о работе с модулем Pandas и Numpy.

SQL:

  • Знание базового синтаксиса (SELECT, WHERE, GROUP BY, HAVING).
  • Умение составлять подзапросы и делать все виды JOIN.
  • Навык работы с вложенными запросами.

ИНФРАСТРУКТУРА:

  • Умение работать с командной строкой.
  • Знание базовых команд Linux.
  • Навыки работы с Git.
  • Базовое знание Docker.

МАШИННОЕ ОБУЧЕНИЕ:

  • Знание классических моделей (линейные модели и решающие деревья).
  • Знание классических метрик качества модели (accuracy, MSE, RMSE).
Квалификация
К обучению на программе допускаются: предприниматели, работники и владельцы компаний IT-сектора, имеющие высшее образование или среднее профессиональное (либо получающие высшее или среднее профессиональное образование), а также мотивированные специалисты из других профессиональных сфер и студенты, обучающиеся в области информационных технологий, а также по иным специальностям, которые заинтересованы в получении новых компетенций по специальности «Архитектор данных».
Владение необходимыми профессиональными компетенциями
Требования к компетенциям, которыми должен обладать гражданин при поступлении на программу:
– способен использовать и адаптировать существующие математические методы и системы программирования для разработки и реализации алгоритмов решения прикладных задач;
– способен применять и модифицировать математические модели для решения задач в области профессиональной деятельности;
– владеет широкой общей подготовкой (базовыми знаниями) для решения практических задач в области информационных систем и технологий;
– способен использовать современные компьютерные технологии поиска информации для решения поставленной задачи, критического анализа этой информации и обоснования принятых идей и подходов к решению;
– способен выбирать и оценивать способ реализации информационных систем и устройств (программно-, аппаратно- или программно-аппаратно-) для решения поставленной задачи.
Иные требования и рекомендации для обучения по программе

Требования к уровню подготовленности, определяемому контрольно-измерительными материалами.

Обучающиеся должны обладать следующими знаниями, умениями и владеть навыками:

Умение писать программы на каком-либо императивном языке программирования (Java, Python, C# и т.п.).

PYTHON:

  • Знание синтаксиса языка.
  • Понимание базовых структур данных.
  • Иметь базовое представление о работе популярных алгоритмах (бинарный поиск, рекурсия и т. д.).
  • Базовое представление о скорости работы алгоритмов («О» большое).
  • Иметь базовое представление о работе с модулем Pandas и Numpy.

SQL:

  • Знание базового синтаксиса (SELECT, WHERE, GROUP BY, HAVING).
  • Умение составлять подзапросы и делать все виды JOIN.
  • Навык работы с вложенными запросами.

ИНФРАСТРУКТУРА:

  • Умение работать с командной строкой.
  • Знание базовых команд Linux.
  • Навыки работы с Git.
  • Базовое знание Docker.

МАШИННОЕ ОБУЧЕНИЕ:

  • Знание классических моделей (линейные модели и решающие деревья).
  • Знание классических метрик качества модели (accuracy, MSE, RMSE).

Модули

свернуть
109ч
Модуль 1 Базовый
Цель освоения модуля 1 – приобретение слушателями знаний по основным принципам работы c большими данными, изучение технологии анализа данных, основного инструментария для работы с данными, изучение технологии системного администрирования больших данных; приобретение практических навыков работы с языками программирования (Python, JAVA/С#/С++/Scala) и другими инструментами для реализации методов анализа и структурирования больших данных; практическое применение методов машинного обучения для работы с большими объемами данных.
142ч
Модуль 2 Профильный
Цель освоения модуля 2 – приобретение слушателями знаний по основам хранения и обработки больших данных, изучение программных продуктов для работы с базами данных на основе технологий больших данных, машинного обучения и искусственного интеллекта; приобретение практического опыта по созданию и поддержке систем искусственного интеллекта, по проектированию и построению архитектур данных на основе нейросетевых моделей и методов.
109ч
Модуль 1 Базовый
Цель освоения модуля 1 – приобретение слушателями знаний по основным принципам работы c большими данными, изучение технологии анализа данных, основного инструментария для работы с данными, изучение технологии системного администрирования больших данных; приобретение практических навыков работы с языками программирования (Python, JAVA/С#/С++/Scala) и другими инструментами для реализации методов анализа и структурирования больших данных; практическое применение методов машинного обучения для работы с большими объемами данных.
142ч
Модуль 2 Профильный
Цель освоения модуля 2 – приобретение слушателями знаний по основам хранения и обработки больших данных, изучение программных продуктов для работы с базами данных на основе технологий больших данных, машинного обучения и искусственного интеллекта; приобретение практического опыта по созданию и поддержке систем искусственного интеллекта, по проектированию и построению архитектур данных на основе нейросетевых моделей и методов.

Преподаватели

Борисов

Вадим Владимирович

Филиал НИУ «МЭИ» в г. Смоленске

Профессор кафедры вычислительной техники

Доктор технических наук

Профессор

Абанкина

Ирина Всеволодовна

НИУ «Высшая школа экономики»

Главный научный сотрудник, Центр финансово-экономических решений в образовании

Кандидат экономических наук

Мещеряков

Роман Валерьевич

Институт проблем управления им. В.А. Трапезникова РАН

Главный научный сотрудник

Доктор технических наук

Профессор

Панкратов

Денис Юрьевич

МТУСИ

Доцент кафедры «Системы и сети радиосвязи и телерадиовещания»

Кандидат технических наук

Набока

Михаил Викторович

Индивидуальный предприниматель

Сертифицированный BI Data Analyst

Кандидат технических наук

Борисов

Иван Сергеевич

Системный аналитик

Запорожец

Марина Владимировна

Инженер данных

Никаноров

Иван Михайлович

Разработчик ПО, преподаватель ДПО,

https://1t.ru/teacher-nikanorov

Семененко

Анатолий Сергеевич

Системный аналитик, преподаватель ДПО

https://1t.ru/teacher-semenenko

Семчук

Дмитрий Борисович

ООО Верконт Сервис

Системный аналитик

Трефилов

Павел Александрович

разработчик, преподаватель ДПО

https://1t.ru/teacher-trefilov

Шумаков

Максим Витальевич

Ведущий разработчик

Авторизуйтесь чтобы записаться

Профстандарт

Специалист по большим данным

06.042

Специальность

Архитектор данных (Data Architect)

Ответственный за программу

data@1t.ru

+79993333307