Модель автоматической генерации тестовых заданий представили на семинаре "Измерения в психологии и образовании"

28 января 2025 г. состоялся семинар в цикле «Измерения в психологии и образовании», организованный Центром психометрики и измерений в образовании Института образования НИУ ВШЭ. 

На втором семинаре центра приглашенные эксперты из ООО «НИИ Мониторинга качества образования» представили модель автоматической генерации тестовых заданий на основе глубокого обучения, построенную с применением процедуры дообучения открытых больших языковых моделей (LLM).

С докладом выступили:

• Трубянов Алексей Борисович, к.б.н., доцент, старший научный сотрудник, ООО «НИИ мониторинга качества образования»
• Шабалин Иван Андреевич, программист, ООО «НИИ мониторинга качества образования» 

Алгоритм основан на моделях обработки естественного языка для аннотирования и генерации текстов. Для разных этапов работы алгоритма используются три предобученные большие языковые модели, выбранные экспериментальным путем для решения разных подзадач модели.

Основная языковая модель была дообучена на базе тестовых зданий платформы i-exam.ru. Модель способна генерировать на основе предоставленного материала текст задания, правильный ответ, а также, в случае необходимости, дистракторы.  

Доклад вызвал оживленную и заинтересованную дискуссию среди участников семинара, были намечены перспективы развития модели и совместного сотрудничества «НИИ мониторинга качества образования» и Института образования НИУ ВШЭ.