Инженер данных (Data Engineer)

Задача инженера данных (Data Engineer): работать с огромными массивами данных – собирать, обрабатывать и хранить их правильным образом. Инженер данных обеспечивает инфраструктуру для хранения данных и разрабатывает эффективные правила их автоматизированной обработки, которые требуют меньше ресурсов и снижают потери и сбои, а также формирует условия для сбора информации, которая должна попасть на обработку и последующее хранение. Можно утверждать, что ученый может открыть новую звезду, но не может создать её. Для этого ему пришлось бы обратиться к инженеру. Без инженера по данным математические модели исследователей данных часто не имеют никакой ценности.

Почему Data Engineering?

• Data Engineering — фундамент работы с данными в любой компании;
• спрос на Data Engineer уже начинает превышать спрос на Data Scientist;
• порог входа ниже, чем в Data Science;
• зарплаты не ниже, а часто и выше, чем в Data Science.

На программе вы научитесь настраивать и автоматизировать процессы сбора, трансформации, очистки, хранения и первичного анализа данных с помощью SQL и базового Python на примерах реальных задач. На практике познакомитесь с Hadoop, Spark, Hbase, Airflow.

Вы будете работать над выпускным проектом, для которого есть два варианта выполнения:

• взять задачу, заранее подготовленную преподавателями;
• согласовать собственную тему, например, связанную с работой слушателя.

На проекте, который подготовили преподаватели, слушателей ждет работа с реальными транзакционными банковскими данными. C помощью Python и SQL  / стек Hadoop слушатели реализуют:

• собственное хранилище данных — DWH;
• процесс сбора, очистки, трансформации и хранения данных;
• систему автоматического поиска мошеннических операций (AntiFraud-система).

Кроме того, продвинутым слушателям будет доступен усложненный вариант проекта — разработка хранилища данных для онлайн-сервиса вызова такси.

После завершения программы желающие смогут посетить занятия с HR по выстраиванию стратегии поиска работы, получить ревью своего резюме.

Обучение состоит из трех модулей:

• Модуль 1: Введение в инструменты дата инженера — онлайн-интенсив из электронных курсов и вебинаров для освоения знаний и умений в программировании и основах работы с данными на Python и SQL. В этом модуле слушателям предстоит практика по решению большого количества задач на Python и SQL в тренажере.
• Модуль 2: Построение хранилищ данных и ETL-процессов — обучение в формате вебинаров под руководством преподавателей, с интересными ДЗ, персонализированной обратной связью и проектом.
• Модуль 3: Инструменты работы с большими данными — обучение в формате вебинаров под руководством преподавателей-практиков. Домашние задания и практика на вебинарах реализуется в тренажере. Слушатели научатся работать со стеком Hadoop, Spark, Airflow. В этом же модуле в формате электронного курса слушатели познакомятся с задачами анализа данных, узнают про цикл жизни моделей машинного обучения.

У кого вы будете учиться?

Команда преподавателей, методистов и кураторов с опытом организации обучения Data Science и Data Engineering более 3 лет. Команда сочетает в себе три ключевые экспертизы:

• индустриальная: практики data engineers и ml/dl engineers из крупнейших российских и международных ИТ-компаний;
• академическая: преподаватели и выпускники лучших вузов России: ВШЭ, МФТИ, МГУ, Школа Анализа Данных Яндекса, etc.;
• образовательная: через каждого преподавателя в нашей команде прошли сотни слушателей из российских компаний или вузов.

Важно!

Перед стартом обучения важно понимать, что программирование и анализ данных — это интересно и перспективно, но и очень сложно. Для достижения целей обучения вам придется много работать, практиковаться и постоянно самостоятельно искать информацию. Без этого не стать хорошим специалистом даже начального уровня. Научить учиться и искать информацию — одна из целей программы, ведь настоящий специалист регулярно занимается этим на работе! Убедитесь, что вы готовы уделять обучению 15, а лучше 20 часов каждую неделю и вы уверены, что сможете освоить основы этой профессии в интенсивном режиме.

• Готовность упорно учиться, искать информацию и много самостоятельно работать
• Готовность на протяжении всего курса регулярно выделять достаточно времени учебе.
• Уверенное владение ПК: установка/удаление ПО, работа с текстовыми редакторами, браузером Google Chrome.
• Развитое логическое мышление, умение структурировать информацию.
• Отсутствие проблем со школьной математикой.
• Базовые умения в программировании на любом высокоуровневом языке программирования. Умение решать простейшие алгоритмические задачи
• Знание английского языка на уровне чтения технической документации.

• Высшее образование
• Среднее профессиональное образование

• Готовность упорно учиться, искать информацию и много самостоятельно работать
• Готовность на протяжении всего курса регулярно выделять достаточно времени учебе.
• Уверенное владение ПК: установка/удаление ПО, работа с текстовыми редакторами, браузером Google Chrome.
• Развитое логическое мышление, умение структурировать информацию.
• Отсутствие проблем со школьной математикой.
• Базовые умения в программировании на любом высокоуровневом языке программирования. Умение решать простейшие алгоритмические задачи
• Знание английского языка на уровне чтения технической документации.