Большие данные Анализировать данные PostgreSQL Python Хранить данные Apache Hive Передавать данные Обрабатывать данные SQL-запрос

Архитектор-разработчик DWH

Нетология

370,00 часов длительность

Онлайн формат

Начальный уровень

1 поток (закрыт) 06.12.2021-15.08.2022

Описание

О профессии

Архитектор-разработчик DWH создаёт условия для хранения и организации полезных данных. Он отвечает за извлечение, преобразование, загрузку данных и их обработку. Главная задача — подготовить надёжную инфраструктуру для данных.

Освойте высокооплачиваемую профессию за полцены. Остальное компенсирует государство.

Кому подойдёт курс

Системным и сетевым администраторам
Бэкенд- или фулстек-разработчикам
Новичкам, желающим войти в сферу работы с данными

О Нетологии

Нетология — образовательная платформа. Обучаем современным востребованным профессиям. 35+ тыс. дипломированных выпускников, 10 лет на рынке и 8 направлений обучения.

Наши преимущества

Преподаватели из крупнейших IT-компаний России
Готовые кейсы в портфолио и помощь в их оформлении
Помощь с трудоустройством и поддержка на всех этапах
Диплом государственного образца
Возможность получить налоговый вычет — 13%

Чему вы научитесь

Проектировать схемы хранилищ и выбирать DWH под задачу и бюджет бизнеса среди популярных решений (Snowflake, BigQuery, Azure SQL DW, Redshift)
Настраивать и конфигурировать ETL/ELT-процессы в нескольких дата-инструментах
Работать с основными инструментами обработки больших данных: lambda architecture, kappa architecture, а также hdfs, yarn, hive и другими обязательными частями инфраструктуры
Строить свой конвейер обработки даннных, сборщик событий, RTDM-систему с выводом в массовые enterprise BI-решения
Строить работающий пайплайн в облачной среде и включать в него модели машинного обучения, нейронные сети, сервисы оркестрирования контейнеров и проверку версионности
Разовьёте навык data literacy

Как проходит обучение

Смотрите видеолекции в удобное для вас время
Закрепляете знания на практике
Создаёте итоговый проект и защищаете его
Получаете диплом и находите новую работу

Диплом подтвердит вашу квалификацию перед работодателем

Мы обучаем по государственной лицензии. При успешной защите итоговых проектов вы получите диплом, который сможете добавить к резюме и показать при устройстве на работу.

Трудоустройство

Поможем найти работу после обучения. У вас будет возможность работать из дома и получать конкурентную зарплату.

Вместе оформим резюме и портфолио ваших работ
Подберём вакансии под выбранную профессию
Научим проходить интервью
Поможем адаптироваться на новом месте

Часов в программе

82,00 часа

лекции

247,00 часов

практика

30,00 часов

промежуточная аттестация

1 час

входная диагностика

10 часов

итоговая аттестация

370,00 часов

всего

Цель программы

Получение компетенции Управление получением, хранением, передачей, обработкой больших данных для создания информационных технологий нового поколения, обеспечивающих экономически эффективное извлечение полезной информации из больших объемов разнообразных данных путем высокой скорости их сбора, обработки и анализа, и применение этих технологий в информационно-аналитической деятельности, в системах управления и принятия решений, а также для разработки на их основе новых продуктов и услуг.

Актуальность

Дополнительная профессиональная программа профессиональной переподготовки «Архитектор-разработчик DWH» предназначена для освоения методов и инструментов, которые позволят проектировать схемы хранилищ и выбирать DWH под задачу и бюджет бизнеса среди популярных решений. Специалист с таким навыком может: настраивать и конфигурировать ETL / ELT-процессы в нескольких дата-инструментах; пояснять и обогащать данные отчётов, дашбордов и других источников информации; может масштабировать инфраструктуру, выбирать из множества разных специфических инструментов, внедрять в продакшн решения коллег.

Входная диагностика 1 час

Входное тестирование на определение уровня базовых знаний в аналитике

Итоговая аттестация 10 часов

Дипломная работа

Компетенции

Профессиональные

Анализ больших данных с использованием существующей в организации методологической и технологической инфраструктуры

Знать:

Архитектуру и структуру базы данных в общем виде.
Аналитические функции SQL, чтобы изучать характеристики данных.
Python для организации передачи и хранения с данных.
Как обрабатывать данные с помощью различных инструментов.

Уметь:

Проектировать аналитические базы данных.
Настраивать и конфигурировать ETL/ELT-процессы.
Работать в Python для data science и работы с данными.
Писать первые самостоятельные программы на языке Python.
Контролировать ход работы при помощи условных операторов.
Разделять программы на составные части при помощи функций и классов.
Работать с обязательными частями инфраструктуры.
Загружать данные в кластер.
Устанавливать и запускать аналитическую СУБД.

Владеть:

Основами системы контроля версий.
Навыком написания простых SQL-запросов, чтобы получать данные из базы данных (БД).
Навыком импорта и экспорта данных в БД.
Python для data science и работы с данными.

Управление получением, хранением, передачей, обработкой больших данных

Знать:

Простые SQL-запросы, чтобы получать данные из базы данных (БД).
Джоины, чтобы создавать новые таблицы.
Аналитические функции SQL, чтобы изучать характеристики данных.
Базу данных PostgreSQL, чтобы хранить данные.
Принципы проектирования хранилищ данных.
Python для организации передачи и хранения с данных.
Принципы проектирования аналитических баз данных.
Как обрабатывать данные с помощью различных инструментов.

Уметь:

Организовывать работу с традиционными хранилищами данных.
Проектировать аналитические базы данных.
Настраивать и конфигурировать ETL/ELT-процессы.
Передавать данные в дашборд.
Контролировать ход работы при помощи условных операторов.
Разделять программы на составные части при помощи функций и классов.
Обрабатывать данные при помощи фреймворка.
Использовать дашборды для работы с информацией в таблицах.
Отображать данные в различных срезах и различными способами для дальнейшего анализа.
Создавать облачную базу данных.

Владеть:

Навыком написания простых SQL-запросов, чтобы получать данные из базы данных (БД).
Python для data science и работы с данными.

Автоматизация и мониторинг управления данными в течение всего их жизненного цикла

Знать:

Предметная область деятельности организации, для которой планируется проведение аналитического исследования на основе технологий больших данных
Методы выявления требований заинтересованных лиц организации к методической и технологической инфраструктуре больших данных
Технологии межличностной и групповой коммуникации в деловом взаимодействии, основы конфликтологии
Технологии подготовки и проведения презентаций проектов методической и технологической инфраструктуры
Методы анализа деятельности организации
Основы организационного дизайна
Современные методы и инструментальные средства анализа больших данных
Методы управления проектами в области больших данных
Исследование операций
Методы управления моделями
Методы принятия решений
Методы интерпретации и визуализации больших данных
Источники информации, в том числе информации, необходимой для обеспечения деятельности в предметной области организации

Уметь:

Информирование о возможностях методов и инструментов больших данных
Проведение анализа бизнес-процессов и функций подразделений организации
Составление реестра задач и процессов, для которых могут быть эффективно применены методы и инструменты анализа больших данных
Разработка отчета о возможности и целесообразности использования технологий больших данных в организации
Разработка технического предложения создания методической и технологической инфраструктуры больших данных

Владеть:

Предобработка данных с помощью Python
Создание инфраструктуры для больших данных
Обработка данных при помощи Spark и Airflow
Обработка real-time данных
Построение работающего пайплайна в облачной среде
Внедрение принципов гибкого подхода MLOps

Управление качеством больших данных

Знать:

Метрики качества больших данных
Базовые характеристики качества больших данных
Методы и технологии управления качеством больших данных
Методы оценки рисков использования больших данных

Уметь:

Определять происхождение данных и оценивать источники больших данных
Определять и устранять проблемные зоны при обеспечении качества больших данных
Измерять и оценивать качество больших данных
Проводить оценку и устранение рисков использования больших данных

Владеть:

Анализа реализации стратегии обеспечения качества больших данных
Проведения оценки качества больших данных
Разрешения проблем и инцидентов с качеством больших данных
Оценки рисков использования больших данных

Требования

Нет

Образование

Высшее образование
Среднее профессиональное образование

Модули

свернуть

180,00ч

Модуль 1 SQL и Python для анализа данных. Хранилища данных и Business intelligence решения

Модуль предполагает интенсивное обучение и позволит слушателю попробовать свои силы и освоить SQL, научиться работать с PostgreSQL и MongoDB, освоить язык программирования Python для анализа данных, познакомиться с библиотеками NumPy и pandas, получить представление об основах парсинга и работы с API. Материалы записанных лекций и вебинаров помогут научиться соединять данные из различных источников, обогащать их и использовать для регулярной и AD-HOC отчетности, визуализировать данные с помощью библиотек и встроенных инструментов Python. Интенсивное обучение на модуле и позволит слушателю узнать, как спроектировать аналитическую базу данных, создать свой первый OLAP-куб и научится выбирать и подключать Business Intelligence решения. Материалы записанных лекций и практических вебинаров помогут освоить навык работы с традиционными хранилищами данных, выполнять настройку ETL / ELT-процессов.

Подробнее

179,00ч

Модуль 2 Работа с данными

Модуль предполагает интенсивное обучение и познакомит слушателя с основным инструментом обработки больших данных, специальными базами данных для хранения и обработки потоковых данных, узнать как применять ее для обработки потоковых данных. Изучение основных облачных провайдеров для работы с данными позволит позволит создать облачную базу данных и запустить свой первый Pipeline в облаке. Слушатель сможет узнать как работать с data lakes в облаках, научиться использовать spark для обработки данных в них.

Подробнее

180,00ч

Модуль 1 SQL и Python для анализа данных. Хранилища данных и Business intelligence решения

Подробнее

179,00ч

Модуль 2 Работа с данными

Подробнее