Назад
III уровень
Большие данные
Визуализировать данные
Решать задачи машинного обучения
Обрабатывать данные
Писать программный код
Анализировать данные
Python
BI
Решать задачи искусственного интеллекта
Машинное обучение и искусственный интеллект
ФГАОУ ВО «УрФУ имени первого Президента России Б.Н. Ельцина»
72,00 часа
длительность
Онлайн
формат
Базовый
уровень
Описание
Программа направлена на овладение слушателями теоретическими основами статистического анализа, включающего методы параметрической и непараметрической статистики, корреляционного, регрессионного и кластерного анализа, теории сложных сетей и рекомендательных систем, анализа текстовой информации и обработки изображений, современными технологиями и инструментами поиска источников данных, сбора, визуализации и обработки структурированных и неструктурированных данных, построения и анализа моделей машинного обучения, выявления закономерностей в данных и применения полученных результатов к решению практических задач.
В ходе изучения программы ставятся следующие задачи:
- изучение применения технологий искусственного интеллекта для анализа больших данных;
- определение критериев аналитических задач, решаемых с использованием больших данных;
- применение технологий обработки больших данных к решению прикладных задач.
В результате освоения программы, слушатели изучат методы управления аналитическими проектами, базовые методы машинного обучения и статистического анализа данных.
Получат навыки использования языка Python для решения задач анализа данных и машинного обучения, научаться преобразовывать задачи бизнеса в формат аналитического проекта, извлекать и интегрировать данные из разнородных источников, структурированных и не структурированных данных.
Программа востребована и актуальна для категории слушателей, нацеленных на получение профессиональной квалификации Junior-специалист в области Data Science а также Бизнес-аналитик (в части BI), поскольку при ее разработке использовались данные выгруженные с сайта HH.RU в части требований, предъявляемых к данной профессиональной квалификации, тем самым программа соответствует актуальным требованиям, предъявляемым рынком труда в России.
Слушатели могут осваивать курс без предварительной подготовки, для освоения программы достаточно базовых знаний о математике в рамках школьной программы, а также базовых навыков работы с персональным компьютером на уровне уверенного пользователя
Цель программы
Целью программы «Машинное обучение и искусственный интеллект» является подготовка специалистов по анализу больших данных и машинному обучению в различных сферах деятельности.
Требования
Слушатели могут осваивать курс без предварительной подготовки
Иные требования и рекомендации для обучения по программе
Слушатели могут осваивать курс без предварительной подготовки
Модули
свернуть
Модуль 1
ВВЕДЕНИЕ В ЯЗЫК PYTHON
Тема 1.1 Установка и настройка фреймворка Anaconda
Установка фреймворка Anaconda. Настройка рабочего окружения. Знакомство со средой программирования Jupyther Notebook. Преимущества и особенности Python.
Тема 1.2 Знакомство с синтаксисом, методами и средами разработки
Синтаксис, типы данных, преобразование типов, математические операции, ветвление, ввод/вывод в Python.
Тема 1.3 Структурное программирование
Списки и работа с ними. Циклы. Генераторы списков и кортежей. Работа с файлами в Python.. Функции. Словари.
Тема 1.4 Библиотеки Matplotlib, Numpy
Массивы и основные операции с ними в библиотеке Numpy. Основы визуализации с помощью библиотеки Matplotlib.
Тема 1.5 Библиотека Pandas. Подключения к источникам данных
Объекты и основные операции с ними в библиотеке Pandas. Принципы подключения самых распространённых источников данных.
Модуль 3
ИНТЕЛЛЕКТУАЛЬНЫЙ АНАЛИЗ ДАННЫХ И МАШИННОЕ ОБУЧЕНИЕ
Тема 3.1 Вводные положения
Понятие интеллектуального анализа данных (DM). Требования, предъявляемые к новым знаниям. Задачи Data Mining. Стадии Data Mining. Обзор типовых задача Data Mining: классификация, кластеризация, поиск ассоциативных правил, регрессионные модели и т. д. Сферы применения технологии интеллектуального анализа данных. Методика обнаружения нового знания в хранилищах и базах данных (KDD).
Тема 3.2 Алгоритмы классификации
Постановка задачи классификации и представление результатов. Классификационные правила: деревья решений; методы построения деревьев решений, ансамбли классификационных алгоритмов, бэггинг и бустинг, случайный лес. логистическая регрессия, наивный байесов классификатор, машина опорных векторов (SVM), метрики качества классификации, проблема переобучения.
Тема 3.3 Методы кластеризации данных и ассоциативные правила
Основные понятия ассоциативных правил, алгоритм Apriori. постановка задачи кластеризации данных, процесс кластеризации данных, представление результатов кластеризации. Агломеративные и дивизимные алгоритмы, алгоритм ближайшего соседа, представление результатов иерархической кластеризации. Итеративные алгоритмы, алгоритм k-means, метрика качества алгоритмов кластеризации, методы определения вероятного числа кластеров, методы визуализации кластерной структуры
Тема 3.4 Методы прогнозирования численных признаков
Регрессионные деревья. Продвинутые регрессионные модели. Прогнозирование временных рядов методами машинного обучения.
Тема 3.5 Факторный анализ и сокращение размерности
Постановка задачи, подготовка к факторному анализу, выделение первичных факторов, метод главных компонент, алгоритм NIPALS, аналитическое вращение факторов, ортогональное и косоугольное вращение, критерии вращения. Методы отбора переменных на основе информационных критериев.
Модуль 2
ВВЕДЕНИЕ В СТАТИСТИЧЕСКОЕ ОБУЧЕНИЕ
Тема 2.1 Вводные положения
Генеральная совокупность и выборка Типы переменных. Количественные и номинативные переменные. Меры изменчивости. Нормальное распределение. Доверительные интервалы для среднего. Идея статистического вывода, p-уровень значимости.
Тема 2.2 Сравнение средних
Сравнение двух средних, t-критерий Студента Проверка распределения на нормальность. Однофакторный дисперсионный анализ Множественные сравнения в ANOVAМногофакторный ANOVA
Тема 2.3 Визуальный анализ данных
Квартет Энксомба. Типы визуальных диаграмм и условия их применения. Правила визуализации данных. Типичные ошибки и манипуляции с помощью визуализации.
Тема 2.4 Корреляция и регрессия
Условия применения коэффициента корреляции. Регрессия с одной независимой переменной. Гипотеза о значимости взаимосвязи и коэффициент детерминации. Условия применения линейной регрессии с одним предиктором. Применение регрессионного анализа и интерпретация результатов. Задача предсказания значений зависимой переменной. Регрессионный анализ с несколькими независимыми переменными. Выбор наилучшей модели.
Модуль 4
ВОПРОСЫ ИСКУСТВЕННОГО ИНТЕЛЛЕКТА
Тема 4.1 Введение в искусственный интеллект
Философские основы искусственного интеллекта. Автономный интеллект. Интеллектуальные агенты. История искусственного интеллекта. Философские проблемы искусственного интеллекта. Технологическая сингулярность. Василиск Роко.
Тема 4.2 Обработка естественного языка
Формальный и статистический подходы к обработке естественного языка. Статистические методы: языковая модель, скрытая марковская модель, алгоритм Витерби,
Основы лингвистики (токенизация, морфология, выделение частей речи). Парсинг (анализ интересов и зависимостей).
Тема 4.3 Представление знаний
Семантические сети, элементы глубокого обучения для систем основанных на знаниях, онтологии и графы знаний
Модуль 1
ВВЕДЕНИЕ В ЯЗЫК PYTHON
Тема 1.1 Установка и настройка фреймворка Anaconda
Установка фреймворка Anaconda. Настройка рабочего окружения. Знакомство со средой программирования Jupyther Notebook. Преимущества и особенности Python.
Тема 1.2 Знакомство с синтаксисом, методами и средами разработки
Синтаксис, типы данных, преобразование типов, математические операции, ветвление, ввод/вывод в Python.
Тема 1.3 Структурное программирование
Списки и работа с ними. Циклы. Генераторы списков и кортежей. Работа с файлами в Python.. Функции. Словари.
Тема 1.4 Библиотеки Matplotlib, Numpy
Массивы и основные операции с ними в библиотеке Numpy. Основы визуализации с помощью библиотеки Matplotlib.
Тема 1.5 Библиотека Pandas. Подключения к источникам данных
Объекты и основные операции с ними в библиотеке Pandas. Принципы подключения самых распространённых источников данных.
Модуль 2
ВВЕДЕНИЕ В СТАТИСТИЧЕСКОЕ ОБУЧЕНИЕ
Тема 2.1 Вводные положения
Генеральная совокупность и выборка Типы переменных. Количественные и номинативные переменные. Меры изменчивости. Нормальное распределение. Доверительные интервалы для среднего. Идея статистического вывода, p-уровень значимости.
Тема 2.2 Сравнение средних
Сравнение двух средних, t-критерий Студента Проверка распределения на нормальность. Однофакторный дисперсионный анализ Множественные сравнения в ANOVAМногофакторный ANOVA
Тема 2.3 Визуальный анализ данных
Квартет Энксомба. Типы визуальных диаграмм и условия их применения. Правила визуализации данных. Типичные ошибки и манипуляции с помощью визуализации.
Тема 2.4 Корреляция и регрессия
Условия применения коэффициента корреляции. Регрессия с одной независимой переменной. Гипотеза о значимости взаимосвязи и коэффициент детерминации. Условия применения линейной регрессии с одним предиктором. Применение регрессионного анализа и интерпретация результатов. Задача предсказания значений зависимой переменной. Регрессионный анализ с несколькими независимыми переменными. Выбор наилучшей модели.
Модуль 3
ИНТЕЛЛЕКТУАЛЬНЫЙ АНАЛИЗ ДАННЫХ И МАШИННОЕ ОБУЧЕНИЕ
Тема 3.1 Вводные положения
Понятие интеллектуального анализа данных (DM). Требования, предъявляемые к новым знаниям. Задачи Data Mining. Стадии Data Mining. Обзор типовых задача Data Mining: классификация, кластеризация, поиск ассоциативных правил, регрессионные модели и т. д. Сферы применения технологии интеллектуального анализа данных. Методика обнаружения нового знания в хранилищах и базах данных (KDD).
Тема 3.2 Алгоритмы классификации
Постановка задачи классификации и представление результатов. Классификационные правила: деревья решений; методы построения деревьев решений, ансамбли классификационных алгоритмов, бэггинг и бустинг, случайный лес. логистическая регрессия, наивный байесов классификатор, машина опорных векторов (SVM), метрики качества классификации, проблема переобучения.
Тема 3.3 Методы кластеризации данных и ассоциативные правила
Основные понятия ассоциативных правил, алгоритм Apriori. постановка задачи кластеризации данных, процесс кластеризации данных, представление результатов кластеризации. Агломеративные и дивизимные алгоритмы, алгоритм ближайшего соседа, представление результатов иерархической кластеризации. Итеративные алгоритмы, алгоритм k-means, метрика качества алгоритмов кластеризации, методы определения вероятного числа кластеров, методы визуализации кластерной структуры
Тема 3.4 Методы прогнозирования численных признаков
Регрессионные деревья. Продвинутые регрессионные модели. Прогнозирование временных рядов методами машинного обучения.
Тема 3.5 Факторный анализ и сокращение размерности
Постановка задачи, подготовка к факторному анализу, выделение первичных факторов, метод главных компонент, алгоритм NIPALS, аналитическое вращение факторов, ортогональное и косоугольное вращение, критерии вращения. Методы отбора переменных на основе информационных критериев.
Модуль 4
ВОПРОСЫ ИСКУСТВЕННОГО ИНТЕЛЛЕКТА
Тема 4.1 Введение в искусственный интеллект
Философские основы искусственного интеллекта. Автономный интеллект. Интеллектуальные агенты. История искусственного интеллекта. Философские проблемы искусственного интеллекта. Технологическая сингулярность. Василиск Роко.
Тема 4.2 Обработка естественного языка
Формальный и статистический подходы к обработке естественного языка. Статистические методы: языковая модель, скрытая марковская модель, алгоритм Витерби,
Основы лингвистики (токенизация, морфология, выделение частей речи). Парсинг (анализ интересов и зависимостей).
Тема 4.3 Представление знаний
Семантические сети, элементы глубокого обучения для систем основанных на знаниях, онтологии и графы знаний
Преподаватели
Комоцкий
Евгений Игоревич