Интеллектуальный анализ текста на основе машинного обучения

Цель курса дать систематизированное представление о современных подходах к интеллектуальному анализу текста средствами машинного обучения, познакомить с основными принципами лингвостатистики, научить навыкам применения технологий интеллектуального анализа текста, относящегося к неструктурированной информации, в современных информационных средах (RStudio), в конечном итоге сформировать на базовом уровне компетенцию компетенции цифровой экономики: Управление информацией и данными. В рамках изучения курса у  слушателей будет сформирована компетенция на базовом уровне:

Способность управлять неструктурированной информацией и данными:

В результате изучения дисциплины слушатель должен:

знать: основные метрики лингвостатистики; основные законы лингвостатистики; (Хипса, Ципфа); основные принципы разметки текста; способы векторного представления текста; метрики по реляционному и атрибутивному сходству текста; метрики ассоциации для измерения в коллакациях; способы кластеризации текста; инструмент TF-IDF для анализа главной темы; основные методы латентно-семантического анализа текста; инструменты машинного обучения (наивный байесовский классификатор) для классификации текста; основные метрики оценки качества классификации;

уметь: проводить качественную чистку текста, избавляться от стоп-слов и проводить лемматизацию и стеминг текста; создавать терм-документную матрицу двумя способами; использовать мешочек слов для анализа текста; применять процедуру TF-IDF для анализа главной темы; проводить классификацию текста (например спам/неспам) с помощью наивного байесовского классификатора; определять меру сходства текста и меру ассоциации в коллакациях; применять латентно-семантический анализ текста.

владеть: навыками предподготовки к проведению анализа текста, используя средства среды RStudio; навыками тематического моделирования, используя инструменты алгоритма TF-IDF. 

а также иметь опыт применения современных методов и подходов интеллектуального анализа текста на базовом уровне средствами машинного обучения.

Для успешного прохождения курса слушатели должны на продвинутом уровне пользоваться компьютером, иметь базовые навыки в моделирование, знать основы теории вероятности и математической статистики, иметь представление о программировании на языках высокого уровня (на пороговом уровне). Для слушателей курсов предусмотрены входные контрольные задания по теории вероятности (теорема Байеса) и математической статистике (описательные дескриптивные статистики и проверка гипотез – ошибки первого и второго рода).

Компетенция, сформированная в рамках прохождения курса, позволит развиться в профессиональной деятельности ИТ-специалистам, сменить род деятельности в рамках одной области (Информационные технологии).

Образование: высшее, среднее профессиональное

Квалификация: инженер, математик, филолог

Наличию опыта профессиональной деятельности: работа в Excel.

Предварительное освоение иных дисциплин/курсов /модулей: высшая математика, теория вероятностей и математическая статистика, общая теория статистики, основы лингвистики

Образование: высшее, среднее профессиональное

Квалификация: инженер, математик, филолог

Наличию опыта профессиональной деятельности: работа в Excel.

Предварительное освоение иных дисциплин/курсов /модулей: высшая математика, теория вероятностей и математическая статистика, общая теория статистики, основы лингвистики