На семинаре "Измерения в психологии и образовании" обсудили применение больших языковых моделей (LLM) для автоматизированной генерации экзаменационных заданий

22 апреля 2025 г. студент 2-го курса магистерской программы "Образование и оценивание как наука" Мозес Омопекунола представил на семинаре доклад «Can Large Language Models Develop High-Stakes Physics Exam Items? A Comprehensive Study of Cognitive and Psychometric Efficacy».

Экзамены с высокими ставками играют ключевую роль в оценке учебных достижений учащихся и принятии образовательных решений. Традиционно разработка заданий для таких экзаменов осуществляется вручную экспертами в соответствующих предметных областях. Однако автоматизированная генерация заданий (AIG) с использованием больших языковых моделей (LLM) становится перспективной альтернативой.
В то же время исследований применения таких моделей в контексте экзаменов с высокими ставками, особенно в области естественно-научных дисциплин, таких как физика, пока недостаточно. В нашем исследовании мы оценили возможности LLM для создания заданий по физике для Единого вступительного экзамена в вузы Нигерии (UTME), используя таксономию Блума как основу для охвата различных уровней когнитивной сложности.
Пять экспертных групп (три из Нигерии и две из России) провели профессиональную оценку сгенерированных заданий. Кроме того, пилотное тестирование с участием 527 выпускников нигерийских школ подтвердило их высокое психометрическое качество. Эти результаты указывают на то, что LLM может быть надёжным и экономически эффективным инструментом для разработки заданий в рамках оценки с высокими ставками, что может представлять интерес для образовательных учреждений и экзаменационных организаций.