Современные задачи и методы анализа текстов

23 ноября в Институте образования стартовал проект Skills Lab, задачей которого является формирование компетенций и обмен методологическими и практическими навыками между сотрудниками Института. Серию мастер-классов открыла Екатерина Черняк, доцент департамента больших данных и информационного поиска ФКН НИУ ВШЭ, data scientist Sberbank, специалист в области автоматической обработки текстов с темой “Современные задачи и методы анализа текстов”.

Екатерина подробно рассказала о задачах обработки текстовых данных: морфологический и синтаксический парсинг, извлечение ключевых слов, словосочетаний, именованных сущностей и фактов, анализ дискурса и аргументации. В ходе мастер-класса были рассмотрены задачи анализа текстовых данных, требующие использования алгоритмов машинного обучения: классификация текстов и разработка вопросно-ответных систем. Подобный инструментарий может быть использован для изучения больших неструктурированных объемов текстов и классификации полученных текстов. Типичный пример анализа больших объемов текстовых данных - анализ документов и текстов в рамках проектов, которые ведутся в Институте, например, Мониторинг качества приема в российские вузы. Также  В НИУ ВШЭ подобные проекты активно реализуются, в частности в ИСИЭЗ, например, Mapping the Radical Innovations in Food Industry: A Text Mining Study.

Презентация и видео доступны по ссылкам:

1. Презентация “Современные задачи и методы анализа текстов”
2. Видео
3. Материалы курса Екатерины Черняк