Data Engineer
АНО ДПО "Корпоративный университет Сбербанка"
Описание
Задача инженера данных (Data Engineer): работать с огромными массивами данных – собирать, обрабатывать и хранить их правильным образом. Инженер данных обеспечивает инфраструктуру для хранения данных и разрабатывает эффективные правила их автоматизированной обработки, которые требуют меньше ресурсов и снижают потери и сбои, а также формирует условия для сбора информации, которая должна попасть на обработку и последующее хранение. Можно утверждать, что ученый может открыть новую звезду, но не может создать её. Для этого ему пришлось бы обратиться к инженеру. Без инженера по данным математические модели исследователей данных часто не имеют никакой ценности.
На текущий момент только в одной России больше 7 000 компаний находятся в поисках специалистов по Data Science! Средняя зарплата в этой профессии составляет >100 000 рублей и практически не имеет верхних границ.
Почему Data Engineering?
- Data Engineering – фундамент работы с данными в любой компании;
- спрос на Data Engineer уже начинает превышать спрос на Data Scientist;
- порог входа ниже, чем в Data Science;
- зарплаты не ниже, а часто и выше, чем в Data Science.
Программа подойдет:
- желающим начать свой путь в ИТ: мы дадим нужные знания и умения в SQL, Python и хранилищах данных, автоматизации процессов обработки данных, чтобы вы смогли сделать первые шаги навстречу карьере мечты;
- аналитикам: вы получите навыки работы с хранилищами данных. Сможете автоматизировать сбор, трансформацию и очистку данных с помощью SQL и Python без разработчиков. Повысите компетенции для перехода в роль data engineer или data scientist;
- начинающим программистам: набьете руку в сборе, очистке и хранении данных. Сможете дальше развиваться как data engineer или аналитик!
- специалистам в маркетинге или продукте: Научитесь быстро извлекать нужные данные без помощи разработчиков. Научитесь считать статистику по извлеченным данным без привлечения аналитиков. Научитесь работать с одними из самых востребованных в ИТ инструментами: SQL, Python, Git.
На программе вы научитесь настраивать и автоматизировать процессы сбора, трансформации, очистки, хранения и первичного анализа данных с помощью SQL и базового Python на примерах реальных задач.
Вы будете работать над выпускным проектом, для которого есть два варианта выполнения:
- взять задачу, заранее подготовленную преподавателями;
- согласовать собственную тему, например, связанную с работой слушателя.
На проекте, который подготовили преподаватели, слушателей ждет работа с реальными транзакционными банковскими данными. C помощью Python и SQL слушатели реализуют:
- собственное хранилище данных – DWH;
- процесс сбора, очистки, трансформации и хранения данных;
- систему автоматического поиска мошеннических операций (AntiFraud-система).
Кроме этого, мы поможем вам грамотно составить резюме и выстроить поиск первой работы в Data Engineering!
Обучение состоит из двух частей:
- Базовый модуль, «бассейн» – онлайн-интенсив из электронных курсов и вебинаров для освоения базовых знаний и умений в программировании и основах работы с данными на Python и SQL.
- Профильный модуль – обучение в формате вебинаров под руководством преподавателей, интересными ДЗ, персонализированной обратной связью и проектами!
На профильном модуле занятия проходят 2 раза в неделю в формате «живых» вебинаров с преподавателем. Мы не набираем больших групп, чтобы каждый слушатель мог получить ответы свои вопросы во время занятий, личную обратную связь по домашним заданиям и проектам!
У кого вы будете учиться?
Команда преподавателей, методистов и кураторов с опытом организации обучения Data Science и Data Engineering более 3 лет. Команда сочетает в себе 3 ключевые экспертизы:
- индустриальная: практики data engineers и ml/dl engineers из крупнейших российских и международных ИТ-компаний;
- академическая: преподаватели и выпускники лучших ВУЗов России: ВШЭ, МФТИ, МГУ, Школа Анализа Данных Яндекса, etc;
- образовательная: через каждого преподавателя в нашей команде прошли сотни слушателей из российских компаний или вузов.
Важно!
Перед стартом обучения важно понимать, что программирование и анализ данных – это интересно и перспективно, но и очень сложно. Для достижения целей обучения вам придется много работать, практиковаться и даже самостоятельно искать информацию. Без этого не стать хорошим специалистом даже начального уровня. Научить учиться и искать информацию – одна из целей программы, ведь настоящий специалист регулярно занимается этим на работе! Убедитесь, что вы готовы уделять 15, а лучше 20 часов каждую неделю на обучение и вы уверены, что сможете освоить основы этой профессии в интенсивном режиме.
Часов в программе
Цель программы
Актуальность
Входная диагностика 1 час
Итоговая аттестация 4 часа
Компетенции
Профессиональные
SQL для работы с данными в DWH
Базовый синтаксис SQL, методологии и технологии проектирования и использования баз данных, особенности системы управления базами данных, основы проектирования хранилищ данных (DWH), оконные функции, основные методы работы со временем, методы очистки данных, методы инкрементальной загрузки, bash-команды, автоинкремент в Oracle и других СУБД, методы оптимизации запросов, методы построения и автоматизации ETL процесса.
Уметь:Извлекать данные из БД и манипулировать ими с помощью SQL, проектировать DWH, реализовывать оконные аналитические функции, корректно работать со временем в SQL, производить очистку данных, реализовывать автоинкремент, выстраивать и автоматизировать ETL-процесс.
Владеть:Использовать SQL для извлечения, преобразования и хранения данных.
Программирование на языке Python
Тип языка, типы и структуры данных, понятие переменной, циклы, условные конструкции, функции, принципы работы алгоритмов.
Уметь:Решать базовые алгоритмические задачи, загружать и обрабатывать данные (csv, xlsx, txt, json, jpg, etc) с помощью Python и его библиотек, установить Python и библиотеки на ПК.
Владеть:Использовать Python, его основные синтаксические конструкции для решения базовых алгоритмических задач и обработки данных, работать в командной строке.
Требования
- Готовность упорно учиться, искать информацию и много самостоятельно работать – без этого не стать хорошим разработчиком!
- Готовность на протяжении всего курса регулярно выделять достаточно времени учебе.
- Уверенное владение ПК: установка/удаление ПО, работа с текстовыми редакторами, браузером Google Chrome.
- Развитое логическое мышление, умение структурировать информацию.
- Знание английского языка на уровне чтения технической документации.
Образование
- Высшее образование
- Среднее профессиональное образование
Иные требования и рекомендации для обучения по программе
- Готовность упорно учиться, искать информацию и много самостоятельно работать – без этого не стать хорошим разработчиком!
- Готовность на протяжении всего курса регулярно выделять достаточно времени учебе.
- Уверенное владение ПК: установка/удаление ПО, работа с текстовыми редакторами, браузером Google Chrome.
- Развитое логическое мышление, умение структурировать информацию.
- Знание английского языка на уровне чтения технической документации.
Модули
свернутьПрофстандарт
Специалист по большим данным
06.042Ответственный за программу
Digital_professions@sberbank.ru
+79165801450