Подгрузка данных

1.Как Выгружать данные из файлов разных форматов
2.Получать данные из веб-источников и API

Часов в программе

9,00 часов

лекции

19,00 часов

практика

28,00 часов

самостоятельная

5,00 часов

промежуточная аттестация

61,00 час

всего

Материально-технические условия реализации программы:

Вид занятий: внеаудиторные
Требуемое ПО:
Процессор Intel Pentium Silver N5030 1.1 ГГц
Оперативная память (RAM) от 4 ГБ
Операционная система: Windows 10, macOS
Стабильный интернет: от 5/мбит с

Информационные ресуры

-Онлайн курс “Математическая статистика” https://stepik.org/course/326/promo (ОПК-2, ПК-2)
-Документация по работе с Pickle: https://docs.python.org/3/library/pickle.html (ПК-7)
-Документация по работе с Joblib: https://joblib.readthedocs.io/en/latest/ (ПК-7)
-Официальная документация virtualenv https://virtualenv.pypa.io/en/latest/ (ПК-7)
-Список команд Docker https://docs.docker.com/engine/reference/run/ (ПК-7)
-Обновляемый список ресурсов и плагинов для Flask https://github.com/humiaozuzu/awesome-flask (ПК-7)
-Официальное руководство RabbitMQ на русском языке (ПК-7)
-Youtube канал для дополнительного изучения нейронных сетей Arxiv Insights https://www.youtube.com/watch?v=JgvyzIkgxF0&feature=youtu.be (ОПК-2)
-Видео курс «Essence of linear algebra» https://www.youtube.com/playlist?list=PLZHQObOWTQDPD3MizzM2xVFitgF8hE_ab (ОПК-2)
-Онлайн курс «Convex Optimization»: https://lagunita.stanford.edu/courses/Engineering/CVX101/Winter2014/about (ОПК-2, ПК-2)

Образовательные ресуры

Учебно-методические материалы

Методы, формы и технологии

Формы подачи материала:
-видео
-текст

Методы:
-асинхронная работа студента на платформе
-синхронная работа на вебинарах с преподавателями
-самостоятельная работа (выполнение заданий)

Методические разработки

Методические разработки:
1.Анализ рынок конкурентов — изучаем, что предлагают другие школы — и рынок вакансий, чтобы давать востребованные знания и навыки.
2.Проработка критериев по набору экспертов и авторов программы
3.Разработка контента в обучающие материалы и проектирование структуры курса
4.Анализ рынка вакансий на предмет актуальности знаний
5.Создание авторами модулей программы.
6.Каждый урок проходит многоуровневое ревью — эксперта, методиста, редактора, студента-тестировщика.
7.Чередование форматов подачи информации (текст — видео— таблица).
8.Обязательно предоставление ссылок на дополнительные источники — документацию и полезные статьи, которые помогут лучше понять тему и расширят кругозор студента
9.В конце каждой темы у нас есть:
-итоговое тестирование, чтобы привести знания теории всистему, большая практическая задача для закрепления всех необходимых навыков модуля.
10.Обработка обратной связи от студентов по каждому модулю

Материалы курса

-Работа с текстовыми файлами
-Работа с файлами Excel
-JSON. Что это?
-JSON. Открываем JSON-файл и извлекаем данные
-JSON. Работаем с pandas. Из JSON в pandas
-JSON. Работаем с pandas. Из pandas в JSON
-XML. Что это?
-XML. Контент XML-файла
-XML. Загружаем, создаем, сохраняем
-Веб-запросы
-Библиотека requests
-Парсинг сайтов
-Библиотека BeautifulSoup
-Работа с API
-Как настроить регулярную выгрузку данных
-Что такое базы данных?
-Что такое SQL?
-Что такое Metabase?
-Получаем все данные из таблицы
-Фильтруем строки
-Сортировка
-Ограничение вывода
-Знакомимся с данными
-Убираем повторяющиеся значения
-Агрегатные функции
-Группировка
-Фильтрация агрегированных строк
-Соединение таблиц по ключу
-Знакомимся с JOIN
-Фильтрация и агрегатные функции
-Способы соединения таблиц
-UNION
-UNION и ограничение типов данных
-UNION ALL и промежуточные итоги
-UNION и дополнительные условия
-UNION и ручная генерация
-EXCEPT
-INTERSECT

Учебная литература

Data Science: инсайдерская информация для новичков / О’Нил Кэти, Шатт Рэйчел. - СПб.: Питер, 2019 - 368. (ОПК-1)

Темы

Как выгружать данные из файлов разных форматов Получать данные из веб-источников и API Привет, SQL! Основы SQL Агрегатные функции Соединение таблиц Сложные объединения Проект 1 ч. 2. Подгрузка новых данных. Уточнение анализа