Нейросеть пойдет в школу – психометрики Инобра учат машину писать тесты для системы общего образования
«Использованные в школе задания утекают в свободный доступ, их психометрические характеристики становятся необъективны. Это проблема, особенно острая для экзаменов с высокими ставками. Разрабатывать новые задания дорого и долго, это требует участия экспертов, множественных апробаций, большого количества итераций улучшений... На помощь приходит технология автоматической генерации тестовых заданий. Она позволяют создавать много одинаковых заданий со схожими психометрическими характеристики. То есть, в данном случае, это бесконечное множество внешне разных текстов с одинаковой «начинкой», это как клонирование», – рассказал Денис Федерякин, научный сотрудник Центра психометрики и измерений в образовании .
Проект ведется на грант опорного центра по искусственному интеллекту. Задача – разработать тесты языковой грамотности для учеников 1 – 9 классов общеобразовательных школ. По факту это художественные тексты, в которых надо, например, добавить знаки препинания, расставить предложения в нужном порядке, вставить пропущенные буквы – эти типичные языковые задания знакомы каждому, кто учился в школе. Только до сих их пишут люди, а теперь учится делать нейросеть. Сотрудники Государственного института русского языка имени Пушкина подготовили для этого корпус учебных текстов – то, что было написано авторами учебников и пособий. Это будут «материнские» тексты, то, что ляжет в основу дальнейшего творчества машины.
Пробная партия нейросетью уже создана, это всего 50 вариантов текста, с ними предстоит работать дальше. По оценке Дениса Федерякина, они «примерно на 60% отвечают требованиям», но в таком виде еще не могут быть допущены до апробации: «Это связные тексты, но их смысл и линию повествования трудно уловить». Но этому нейросеть тоже учится. Когда появятся более совершенные тексты, им предстоят испытания, которые позволят установить, обладают ли они сопоставимой трудностью и другими психометрическими характеристиками.
В перспективе, если качество таких заданий будет доказано, их планируют использовать для тех мониторинговых исследований, которые проводятся с использованием инструментов, созданных Инобром (в частности, это линейка «Прогресс»). А в дальней перспективе – их можно массово применять в школе для мониторинговых исследований любого масштаба и для экзаменов с высокими ставками. Это может лечь в основу системы, которая будет способна создавать индивидуальные тесты по разным предметным областям для всего школьного образования.
Это новый подход для системы общего образования (причем не только в масштабах России), но в EdTech такие технологии уже применяют – например, при обучении взрослых английскому языку. «В школьном образовании действительно еще нет нейросетей, но только потому, что государственные инициативы всегда и во всем мире несколько отстают от коммерческих», – поясняет Денис Федерякин.
«Несмотря на то, что подобные разработки уже существуют на рынке решений машинного обучения, они характеризуются одним существенным недостатком: они не привязаны к определенной теоретической рамке теста. Соответственно, их невозможно использовать для того, чтобы делать по ним выводы об образовательных достижениях учеников ни на индивидуальном, ни на групповом уровне. Цель наших исследований сейчас – это разработать методы автоматической генерации заданий с использованием технологий обработки естественного языка, которые позволили бы нам сохранить целостность определения измеряемых способностей учеников и ясность интерпретации тестовых баллов», – рассказала Елена Карданова, директор Центра психометрики и измерений в образовании .
Подробнее об инструментах, которые готовят специалисты центра, можно узнать здесь.