III уровень Большие данные

Data Engineer

АНО ДПО "Корпоративный университет Сбербанка"
299,00 часов длительность
Онлайн формат
Базовый уровень
1 поток (закрыт) 11.07.2022-12.01.2023
2 поток (закрыт) 29.08.2022-28.02.2023
3 поток (закрыт) 26.09.2022-28.03.2023
4 поток (закрыт) 14.11.2022-16.05.2023

Описание

Задача инженера данных (Data Engineer): работать с огромными массивами данных – собирать, обрабатывать и хранить их правильным образом. Инженер данных обеспечивает инфраструктуру для хранения данных и разрабатывает эффективные правила их автоматизированной обработки, которые требуют меньше ресурсов и снижают потери и сбои, а также формирует условия для сбора информации, которая должна попасть на обработку и последующее хранение. Можно утверждать, что ученый может открыть новую звезду, но не может создать её. Для этого ему пришлось бы обратиться к инженеру. Без инженера по данным математические модели исследователей данных часто не имеют никакой ценности.

На текущий момент только в одной России больше 7 000 компаний находятся в поисках специалистов по Data Science! Средняя зарплата в этой профессии составляет >100 000 рублей и практически не имеет верхних границ.

Почему Data Engineering?

  • Data Engineering – фундамент работы с данными в любой компании;
  • спрос на Data Engineer уже начинает превышать спрос на Data Scientist;
  • порог входа ниже, чем в Data Science;
  • зарплаты не ниже, а часто и выше, чем в Data Science.

Программа подойдет:

  • желающим начать свой путь в ИТ: мы дадим нужные знания и умения в SQL, Python и хранилищах данных, автоматизации процессов обработки данных, чтобы вы смогли сделать первые шаги навстречу карьере мечты;
  • аналитикам: вы получите навыки работы с хранилищами данных. Сможете автоматизировать сбор, трансформацию и очистку данных с помощью SQL и Python без разработчиков. Повысите компетенции для перехода в роль data engineer или data scientist;
  • начинающим программистам: набьете руку в сборе, очистке и хранении данных. Сможете дальше развиваться как data engineer или аналитик!
  • специалистам в маркетинге или продукте: Научитесь быстро извлекать нужные данные без помощи разработчиков. Научитесь считать статистику по извлеченным данным без привлечения аналитиков. Научитесь работать с одними из самых востребованных в ИТ инструментами: SQL, Python, Git.

На программе вы научитесь настраивать и автоматизировать процессы сбора, трансформации, очистки, хранения и первичного анализа данных с помощью SQL и базового Python на примерах реальных задач.

Вы будете работать над выпускным проектом, для которого есть два варианта выполнения:

  • взять задачу, заранее подготовленную преподавателями;
  • согласовать собственную тему, например, связанную с работой слушателя.

На проекте, который подготовили преподаватели, слушателей ждет работа с реальными транзакционными банковскими данными. C помощью Python и SQL слушатели реализуют:

  • собственное хранилище данных – DWH;
  • процесс сбора, очистки, трансформации и хранения данных;
  • систему автоматического поиска мошеннических операций (AntiFraud-система).

Кроме этого, мы поможем вам грамотно составить резюме и выстроить поиск первой работы в Data Engineering!

Обучение состоит из двух частей:

  • Базовый модуль, «бассейн» – онлайн-интенсив из электронных курсов и вебинаров для освоения базовых знаний и умений в программировании и основах работы с данными на Python и SQL.
  • Профильный модуль – обучение в формате вебинаров под руководством преподавателей, интересными ДЗ, персонализированной обратной связью и проектами!

На профильном модуле занятия проходят 2 раза в неделю в формате «живых» вебинаров с преподавателем. Мы не набираем больших групп, чтобы каждый слушатель мог получить ответы свои вопросы во время занятий, личную обратную связь по домашним заданиям и проектам!

У кого вы будете учиться?

Команда преподавателей, методистов и кураторов с опытом организации обучения Data Science и Data Engineering более 3 лет. Команда сочетает в себе 3 ключевые экспертизы:

  • индустриальная: практики data engineers и ml/dl engineers из крупнейших российских и международных ИТ-компаний;
  • академическая: преподаватели и выпускники лучших ВУЗов России: ВШЭ, МФТИ, МГУ, Школа Анализа Данных Яндекса, etc;
  • образовательная: через каждого преподавателя в нашей команде прошли сотни слушателей из российских компаний или вузов.

Важно!

Перед стартом обучения важно понимать, что программирование и анализ данных – это интересно и перспективно, но и очень сложно. Для достижения целей обучения вам придется много работать, практиковаться и даже самостоятельно искать информацию. Без этого не стать хорошим специалистом даже начального уровня. Научить учиться и искать информацию – одна из целей программы, ведь настоящий специалист регулярно занимается этим на работе! Убедитесь, что вы готовы уделять 15, а лучше 20 часов каждую неделю на обучение и вы уверены, что сможете освоить основы этой профессии в интенсивном режиме.

Часов в программе
32,00 часа
лекции
72,00 часа
практика
182,00 часа
самостоятельная
8,00 часов
промежуточная аттестация
1 час
входная диагностика
4 часа
итоговая аттестация
299,00 часов
всего
Цель программы
Получить компетенции, связанные с SQL для работы с данными в DWH и программированием на языке Python, необходимые для старта карьеры в сфере Data Engineering.
Актуальность
На текущий момент только в одной России больше 7 000 компаний находятся в поисках специалистов по Data Engineering! Средняя зарплата в этой профессии составляет > 100 000 рублей и практически не имеет верхних границ. Сегодня данные – основа успеха всех крупных преуспевающих компаний, которые видят себя лидерами будущего. Данные необходимо собирать, обрабатывать и строить на их основе модели, которые приносят пользу всему человечеству и бизнесу – для этого необходимы специалисты в сфере Data Engineer!
Входная диагностика 1 час
Зачет
Итоговая аттестация 4 часа
Итоговая аттестационная работа

Компетенции

Профессиональные


SQL для работы с данными в DWH
Знать:

Базовый синтаксис SQL, методологии и технологии проектирования и использования баз данных, особенности системы управления базами данных, основы проектирования хранилищ данных (DWH), оконные функции, основные методы работы со временем, методы очистки данных, методы инкрементальной загрузки, bash-команды, автоинкремент в Oracle и других СУБД, методы оптимизации запросов, методы построения и автоматизации ETL процесса.

Уметь:

Извлекать данные из БД и манипулировать ими с помощью SQL, проектировать DWH, реализовывать оконные аналитические функции, корректно работать со временем в SQL, производить очистку данных, реализовывать автоинкремент, выстраивать и автоматизировать ETL-процесс.

Владеть:

Использовать SQL для извлечения, преобразования и хранения данных.

Программирование на языке Python
Знать:

Тип языка, типы и структуры данных, понятие переменной, циклы, условные конструкции, функции, принципы работы алгоритмов.

Уметь:

Решать базовые алгоритмические задачи, загружать и обрабатывать данные (csv, xlsx, txt, json, jpg, etc) с помощью Python и его библиотек, установить Python и библиотеки на ПК.

Владеть:

Использовать Python, его основные синтаксические конструкции для решения базовых алгоритмических задач и обработки данных, работать в командной строке.

Требования

  • Готовность упорно учиться, искать информацию и много самостоятельно работать – без этого не стать хорошим разработчиком!
  • Готовность на протяжении всего курса регулярно выделять достаточно времени учебе.
  • Уверенное владение ПК: установка/удаление ПО, работа с текстовыми редакторами, браузером Google Chrome.
  • Развитое логическое мышление, умение структурировать информацию.
  • Знание английского языка на уровне чтения технической документации.
Образование
  • Высшее образование
  • Среднее профессиональное образование
Иные требования и рекомендации для обучения по программе
  • Готовность упорно учиться, искать информацию и много самостоятельно работать – без этого не стать хорошим разработчиком!
  • Готовность на протяжении всего курса регулярно выделять достаточно времени учебе.
  • Уверенное владение ПК: установка/удаление ПО, работа с текстовыми редакторами, браузером Google Chrome.
  • Развитое логическое мышление, умение структурировать информацию.
  • Знание английского языка на уровне чтения технической документации.

Модули

свернуть
150,00ч
Модуль 1 Базовый модуль
Онлайн-интенсив из электронных курсов и вебинаров для освоения базовых знаний и умений в программировании и основах работы с данными на Python и SQL.
144,00ч
Модуль 2 Профильный модуль
Обучение в формате вебинаров под руководством преподавателей, интересными ДЗ, обратной связью, и реальным выпускным проектом! Слушатели научатся настраивать и автоматизировать процессы сбора, трансформации, очистки, хранения и первичного анализа данных с помощью SQL и Python на примерах реальных задач, реализует собственный проект! Проект составлен в виде типичного технического задания, которое получает Data Engineer в рамках выполнения своей работы, и позволит участникам курса решить задачу, максимально приближенную к рабочей, с нуля реализовав полноценный ETL процесс.
150,00ч
Модуль 1 Базовый модуль
Онлайн-интенсив из электронных курсов и вебинаров для освоения базовых знаний и умений в программировании и основах работы с данными на Python и SQL.
144,00ч
Модуль 2 Профильный модуль
Обучение в формате вебинаров под руководством преподавателей, интересными ДЗ, обратной связью, и реальным выпускным проектом! Слушатели научатся настраивать и автоматизировать процессы сбора, трансформации, очистки, хранения и первичного анализа данных с помощью SQL и Python на примерах реальных задач, реализует собственный проект! Проект составлен в виде типичного технического задания, которое получает Data Engineer в рамках выполнения своей работы, и позволит участникам курса решить задачу, максимально приближенную к рабочей, с нуля реализовав полноценный ETL процесс.
90 000 p
Авторизуйтесь чтобы записаться

Профстандарт

Специалист по большим данным

06.042

Ответственный за программу