Большие данные Анализировать данные Python Хранить данные Собирать данные Обрабатывать данные

Data Engineer

АНО ДПО "Корпоративный университет Сбербанка"
293,00 часа длительность
Онлайн формат
Начальный уровень
1 поток (закрыт) 11.10.2021-14.02.2022
2 поток (закрыт) 08.11.2021-14.03.2022
3 поток (закрыт) 29.11.2021-04.04.2022

Описание

Задача инженера данных (Data Engineer): работать с огромными массивами данных – собирать, обрабатывать и хранить их правильным образом. Инженер данных обеспечивает инфраструктуру для хранения данных. Эффективные правила обработки данных, которые требуют меньше ресурсов и снижают потери и сбои. А также формирует условия для сбора информации, которая должна попасть на обработку и последующее хранение. Можно утверждать, что ученый может открыть новую звезду, но не может создать её. Для этого ему пришлось бы обратиться к инженеру. Без инженера по данным математические модели исследователей данных часто не имеют никакой ценности.

На текущий момент только в одной России больше 7 000 компаний находятся в поисках специалистов по Data Science! Средняя зарплата в этой профессии составляет >100 000 рублей и практически не имеет верхних границ.

Почему Data Engineering?

  • Data Engineering – фундамент работы с данными в любой компании;
  • спрос на Data Engineer уже начинает превышать спрос на Data Scientist;
  • порог входа ниже, чем в Data Science;
  • зарплаты не ниже, а часто и выше, чем в Data Science.

Программа подойдет:

  • желающим начать свой путь в ИТ: мы дадим нужные знания и умения в SQL, Python и хранилищах данных, автоматизации процессов обработки данных, чтобы вы смогли сделать первые шаги навстречу карьере мечты;
  • аналитикам: вы получите навыки работы с хранилищами данных. Сможете автоматизировать сбор, трансформацию и очистку данных с помощью SQL и Python без разработчиков. Повысите компетенции для перехода в роль data engineer или data scientist;
  • начинающим программистам: набьете руку в сборе, очистке и хранении данных. Сможете дальше развиваться как data engineer или аналитик!
  • специалистам в маркетинге или продукте: Научитесь быстро извлекать нужные данные без помощи разработчиков. Научитесь считать статистику по извлеченным данным без привлечения аналитиков. Научитесь работать с одними из самых востребованных в ИТ инструментами: SQL, Python, Git.

На программе вы научитесь настраивать и автоматизировать процессы сбора, трансформации, очистки, хранения и первичного анализа данных с помощью SQL и базового Python на примерах реальных задач.

Вы будете работать над выпускным проектом, для которого есть два варианта выполнения:

  • взять задачу, заранее подготовленную преподавателями;
  • согласовать собственную тему, например, связанную с работой слушателя.

На проекте, который подготовили преподаватели, слушателей ждет работа с реальными транзакционными банковскими данными. C помощью Python и SQL слушатели реализуют:

  • собственное хранилище данных – DWH;
  • процесс сбора, очистки, трансформации и хранения данных;
  • систему автоматического поиска мошеннических операций (AntiFraud-система).

Кроме этого, мы поможем вам грамотно составить резюме и выстроить поиск первой работы в Data Engineering!

Обучение состоит из двух частей:

  • "бассейн", одномесячный онлайн-интенсив из электронных курсов, на котором вы осваиваете базовые навыки программирования и работы с данными с поддержкой от специалистов СберУниверситета;
  • трехмесячное обучение в формате вебинаров под руководством высококлассных преподавателей-практиков, интересными ДЗ, персонализированной обратной связью, реальными командными и личными проектами!

Вебинары проходят 2 раза в неделю вечером в нерабочее время, поэтому обучение легко совмещать с работой. Мы не набираем больших групп, чтобы каждый слушатель мог получить ответы свои вопросы во время занятий, личную обратную связь по домашним заданиям и проектам!

У кого вы будете учиться?

Команда преподавателей, методистов и кураторов с опытом организации обучения Data Science и Data Engineering более 3 лет. Команда сочетает в себе 3 ключевые экспертизы:

  • индустриальная: практики data engineers и ml/dl engineers из крупнейших российских и международных ИТ-компаний;
  • академическая: преподаватели и выпускники лучших ВУЗов России: ВШЭ, МФТИ, МГУ, Школа Анализа Данных Яндекса, etc;
  • образовательная: через каждого преподавателя в нашей команде прошли сотни слушателей из российских компаний или вузов.
Часов в программе
92,00 часа
лекции
100,00 часов
практика
68,00 часов
самостоятельная
28,00 часов
промежуточная аттестация
1 час
входная диагностика
4 часа
итоговая аттестация
293,00 часа
всего
Цель программы
Получить компетенции, связанные с SQL для работы с данными в DWH и программированием на языке Python, необходимые для старта карьеры в сфере Data Engineering.
Актуальность
На текущий момент только в одной России больше 7 000 компаний находятся в поисках специалистов по Data Engineering! Средняя зарплата в этой профессии составляет > 100 000 рублей и практически не имеет верхних границ. Сегодня данные – основа успеха всех крупных преуспевающих компаний, которые видят себя лидерами будущего. Данные необходимо собирать, обрабатывать и строить на их основе модели, которые приносят пользу всему человечеству и бизнесу – для этого необходимы специалисты в сфере Data Engineer!
Входная диагностика 1 час
Зачет
Итоговая аттестация 4 часа
Итоговая аттестационная работа

Компетенции

Профессиональные


SQL для работы с данными в DWH
Знать:

базовый синтаксис SQL, методологии и технологии проектирования и использования баз данных, особенности системы управления базами данных, основы проектирования хранилищ данных (DWH), оконные функции, основные методы работы со временем, методы очистки данных, методы инкрементальной загрузки, bash-команды, автоинкремент в Oracle и других СУБД, методы оптимизации запросов, методы построения и автоматизации ETL процесса.

Уметь:

извлекать данные из БД и манипулировать ими с помощью SQL, проектировать DWH, реализовывать оконные аналитические функции, корректно работать со временем в SQL, производить очистку данных, реализовывать автоинкремент, выстраивать и автоматизировать ETL-процесс.

Владеть:

навыками извлечения, преобразования и хранения данных средствами SQL, работы в SQL Developer

Программирование на языке Python
Знать:

тип языка, типы и структуры данных, понятие переменной, циклы, условные конструкции, функции, принципы работы алгоритмов

Уметь:

решать базовые алгоритмические задачи, загружать и обрабатывать данные (csv, xlsx, txt, json, jpg, etc) с помощью Python и его библиотек, установить Python и библиотеки на ПК

Владеть:

навыком написания программ на Python, используя его основные синтаксические конструкции, навыком работы командной строке

Требования

Нет

Образование
  • Высшее образование
  • Среднее профессиональное образование

Модули

свернуть
144,00ч
Модуль 1 Базовый модуль
Онлайн-интенсив из электронных курсов, на котором слушатели с поддержкой от специалистов СберУниверситета получают базовые знания и умения в программировании на Python, работе с данными в SQL и прикладном анализе данных.
144,00ч
Модуль 2 Профильный модуль
Обучение в формате вебинаров под руководством высококлассных преподавателей-практиков, интересными ДЗ, персонализированной обратной связью, реальными командными и личными проектами! Слушатели научатся настраивать и автоматизировать процессы сбора, трансформации, очистки, хранения и первичного анализа данных с помощью SQL и Python на примерах реальных задач, реализует собственный проект! Проект составлен в виде типичного технического задания, которое получает Data Engineer в рамках выполнения своей работы, и позволит участникам курса решить задачу, максимально приближенную к рабочей, с нуля реализовав полноценный ETL процесс.
144,00ч
Модуль 1 Базовый модуль
Онлайн-интенсив из электронных курсов, на котором слушатели с поддержкой от специалистов СберУниверситета получают базовые знания и умения в программировании на Python, работе с данными в SQL и прикладном анализе данных.
144,00ч
Модуль 2 Профильный модуль
Обучение в формате вебинаров под руководством высококлассных преподавателей-практиков, интересными ДЗ, персонализированной обратной связью, реальными командными и личными проектами! Слушатели научатся настраивать и автоматизировать процессы сбора, трансформации, очистки, хранения и первичного анализа данных с помощью SQL и Python на примерах реальных задач, реализует собственный проект! Проект составлен в виде типичного технического задания, которое получает Data Engineer в рамках выполнения своей работы, и позволит участникам курса решить задачу, максимально приближенную к рабочей, с нуля реализовав полноценный ETL процесс.

Преподаватели

Зубцов

Дмитрий

АНО ДПО "Корпоративный университет Сбербанка"

Директор академии

кандидат наук

Мороз

Юлия

АНО ДПО "Корпоративный университет Сбербанка"

Руководитель направления

кандидат наук

доцент

90 000 p
Авторизуйтесь чтобы записаться

Профстандарт

Специалист по большим данным

06.042

Ответственный за программу