Data Engineer
АНО ДПО "Корпоративный университет Сбербанка"
Описание
Задача инженера данных (Data Engineer): работать с огромными массивами данных – собирать, обрабатывать и хранить их правильным образом. Инженер данных обеспечивает инфраструктуру для хранения данных. Эффективные правила обработки данных, которые требуют меньше ресурсов и снижают потери и сбои. А также формирует условия для сбора информации, которая должна попасть на обработку и последующее хранение. Можно утверждать, что ученый может открыть новую звезду, но не может создать её. Для этого ему пришлось бы обратиться к инженеру. Без инженера по данным математические модели исследователей данных часто не имеют никакой ценности.
На текущий момент только в одной России больше 7 000 компаний находятся в поисках специалистов по Data Science! Средняя зарплата в этой профессии составляет >100 000 рублей и практически не имеет верхних границ.
Почему Data Engineering?
- Data Engineering – фундамент работы с данными в любой компании;
- спрос на Data Engineer уже начинает превышать спрос на Data Scientist;
- порог входа ниже, чем в Data Science;
- зарплаты не ниже, а часто и выше, чем в Data Science.
Программа подойдет:
- желающим начать свой путь в ИТ: мы дадим нужные знания и умения в SQL, Python и хранилищах данных, автоматизации процессов обработки данных, чтобы вы смогли сделать первые шаги навстречу карьере мечты;
- аналитикам: вы получите навыки работы с хранилищами данных. Сможете автоматизировать сбор, трансформацию и очистку данных с помощью SQL и Python без разработчиков. Повысите компетенции для перехода в роль data engineer или data scientist;
- начинающим программистам: набьете руку в сборе, очистке и хранении данных. Сможете дальше развиваться как data engineer или аналитик!
- специалистам в маркетинге или продукте: Научитесь быстро извлекать нужные данные без помощи разработчиков. Научитесь считать статистику по извлеченным данным без привлечения аналитиков. Научитесь работать с одними из самых востребованных в ИТ инструментами: SQL, Python, Git.
На программе вы научитесь настраивать и автоматизировать процессы сбора, трансформации, очистки, хранения и первичного анализа данных с помощью SQL и базового Python на примерах реальных задач.
Вы будете работать над выпускным проектом, для которого есть два варианта выполнения:
- взять задачу, заранее подготовленную преподавателями;
- согласовать собственную тему, например, связанную с работой слушателя.
На проекте, который подготовили преподаватели, слушателей ждет работа с реальными транзакционными банковскими данными. C помощью Python и SQL слушатели реализуют:
- собственное хранилище данных – DWH;
- процесс сбора, очистки, трансформации и хранения данных;
- систему автоматического поиска мошеннических операций (AntiFraud-система).
Кроме этого, мы поможем вам грамотно составить резюме и выстроить поиск первой работы в Data Engineering!
Обучение состоит из двух частей:
- "бассейн", одномесячный онлайн-интенсив из электронных курсов, на котором вы осваиваете базовые навыки программирования и работы с данными с поддержкой от специалистов СберУниверситета;
- трехмесячное обучение в формате вебинаров под руководством высококлассных преподавателей-практиков, интересными ДЗ, персонализированной обратной связью, реальными командными и личными проектами!
Вебинары проходят 2 раза в неделю вечером в нерабочее время, поэтому обучение легко совмещать с работой. Мы не набираем больших групп, чтобы каждый слушатель мог получить ответы свои вопросы во время занятий, личную обратную связь по домашним заданиям и проектам!
У кого вы будете учиться?
Команда преподавателей, методистов и кураторов с опытом организации обучения Data Science и Data Engineering более 3 лет. Команда сочетает в себе 3 ключевые экспертизы:
- индустриальная: практики data engineers и ml/dl engineers из крупнейших российских и международных ИТ-компаний;
- академическая: преподаватели и выпускники лучших ВУЗов России: ВШЭ, МФТИ, МГУ, Школа Анализа Данных Яндекса, etc;
- образовательная: через каждого преподавателя в нашей команде прошли сотни слушателей из российских компаний или вузов.
Часов в программе
Цель программы
Актуальность
Входная диагностика 1 час
Итоговая аттестация 4 часа
Компетенции
Профессиональные
SQL для работы с данными в DWH
базовый синтаксис SQL, методологии и технологии проектирования и использования баз данных, особенности системы управления базами данных, основы проектирования хранилищ данных (DWH), оконные функции, основные методы работы со временем, методы очистки данных, методы инкрементальной загрузки, bash-команды, автоинкремент в Oracle и других СУБД, методы оптимизации запросов, методы построения и автоматизации ETL процесса.
Уметь:извлекать данные из БД и манипулировать ими с помощью SQL, проектировать DWH, реализовывать оконные аналитические функции, корректно работать со временем в SQL, производить очистку данных, реализовывать автоинкремент, выстраивать и автоматизировать ETL-процесс.
Владеть:навыками извлечения, преобразования и хранения данных средствами SQL, работы в SQL Developer
Программирование на языке Python
тип языка, типы и структуры данных, понятие переменной, циклы, условные конструкции, функции, принципы работы алгоритмов
Уметь:решать базовые алгоритмические задачи, загружать и обрабатывать данные (csv, xlsx, txt, json, jpg, etc) с помощью Python и его библиотек, установить Python и библиотеки на ПК
Владеть:навыком написания программ на Python, используя его основные синтаксические конструкции, навыком работы командной строке
Требования
Нет
Образование
- Высшее образование
- Среднее профессиональное образование
Модули
свернутьПреподаватели

Зубцов
Дмитрий
АНО ДПО "Корпоративный университет Сбербанка"
Директор академии
кандидат наук

Мороз
Юлия
АНО ДПО "Корпоративный университет Сбербанка"
Руководитель направления
кандидат наук
доцент
Профстандарт
Специалист по большим данным
06.042Ответственный за программу
digital_professions@sberbank.ru
+79242041352