X Международная летняя школа «Теория и практика разработки тестов: прикладная психометрика в психологии и образовании»
Генеративный ИИ в автоматической генерации тестовых заданий (AIG)
Документ по итогам: Сертификат участника.
Место проведения: Институт образования НИУ ВШЭ, Москва, Потаповский пер, д. 16, стр. 10
Формат:
Оффлайн
Когда:
6-10 июля
Дедлайн регистрации:
28 июня
Язык школы:
русский/английский
Стоимость участия:
15 000 руб.
Количество мест:
25
Цель нашей школы - познакомить участников с методологией и практикой применения больших языковых моделей (Large Language Models, LLM) для автоматической генерации тестовых заданий (Automated Item Generation, AIG). В ходе занятий участники узнают не только о том, как генерировать тестовые задания с помощью LLM, но и как контролировать качество сгенерированных материалов. Преподаватели школы расскажут о современном состоянии автоматической генерации заданий и представят исследования в данной области, используя примеры из своей практики.
Программа ориентирована на участников, которые уже знакомы с базовыми принципами разработки тестов и хотят расширить свой инструментарий за счет современных подходов к AIG: проектирование промптов, генерация мультимодальных заданий и клонов, автоматизированная проверка качества заданий и организация воспроизводимого рабочего контура.
Летняя школа будет полезна
Специалистам в области педагогических измерений
Разработчикам инструментов измерения образовательных результатов
Исследователям в сфере образовательных технологий
Преподавателям и методистам
Всем, кто интересуется современными технологиями в оценивании и перспективами применения искусственного интеллекта
Программа летней школы
Программа включает лекционные и практические занятия, консультации, самостоятельную работу и защиту проектов. Участники разберут автоматическую генерацию заданий, стратегии промптинга, мультимодальные задания, работу с API, генерацию текстов и методы контроля качества сгенерированных материалов.
Важно: один день школы (вторник 7 июля) будет полностью проходить на английском языке, поэтому участникам необходимо владеть английским языком на уровне, достаточном для участия в занятиях.
С содержанием занятий вы можете ознакомиться в документе Аннотации занятий летней школы
-
06.07 Понедельник
10:00 – 11:20
Представление центра и знакомство с участниками
11:40 – 13:00
Автоматическая генерация заданий: эволюция от шаблонов до генеративного ИИ
13:00 – 14:00
Перерыв
14:00 – 15:20
Методологические и психометрические основы автоматической генерации заданий
15:40 – 17:00
Обсуждение требований к итоговому проекту и академический "speed dating"
-
07.07 Вторник
10:00 – 11:20
Prompting Strategies for Automated Item Generation
11:40 – 13:00
Automated Item Generation in Physics Assessment
13:00 – 14:00
Перерыв
14:00 – 15:20
Multimodal Items, Agentic Generation, and Automated Review
15:40 – 17:00
Консультация и самостоятельная работа
-
08.07 Среда
10:00 – 11:20
Как научить LLM не ломать задание: радикалы, вариативные элементы и генерация клонов
11:40 – 13:00
Визуальные стимулы, API и рабочий контур: как устроена генерация на практике
13:00 – 14:00
Перерыв
14:00 – 15:20
Генерация текстов для инструментов читательской грамотности
15:40 – 17:00
Консультация и самостоятельная работа
-
09.07 Четверг
Экскурсия по Москве рядом с местом проведения Школы
Самостоятельная подготовка к защите проекта
-
10.07 Пятница
Защита проектов
Выдача сертификатов и фуршет
Преподаватели школы
Тихонова Мария Андреевна
Ответы на вопросы, которые могут вас интересовать
Все занятия проходят очно по адресу: Институт образования НИУ ВШЭ, Москва, Потаповский пер, д. 16, стр. 10, аудитория 106.
Программа сочетает лекционные и практические занятия, а также самостоятельную работу и консультации с преподавателями. Участники будут не только обсуждать методологию автоматической генерации заданий, но и пробовать применять LLM-инструменты для разработки, проверки и доработки тестовых материалов.
Регистрация на Летнюю школу открыта до 28 июня включительно. После завершения регистрации организаторы рассмотрят поступившие заявки и мотивационные письма, на основании которых будет проведен конкурсный отбор. О результатах отбора сообщат на электронную почту, указанную в регистрационной форме.
Организаторы свяжутся с отобранными участниками и направят информацию о порядке оплаты участия в Школе. Оплату необходимо будет осуществить до 3 июля включительно.
Все занятия, кроме одного дня, проходят на русском языке. Занятия преподавателя Мозеса Олуоке Омопекунолы проводятся на английском языке. Защита проектов будет на русском языке.
Специальный опыт работы с генеративным ИИ не является обязательным. Однако участникам будет полезно заранее познакомиться с одним или несколькими LLM-инструментами, например ГигаЧат, Алиса AI, DeepSeek или аналогичными сервисами. Это поможет активнее включиться в практические задания.
Знание языков программирования (Python, R) необязательно, но будет полезно для практических заданий и работы с API.
Для практической работы рекомендуется взять ноутбук или планшет. Также желательно заранее обеспечить доступ к одному или нескольким LLM-инструментам. Работать с собственными материалами необязательно, но будет полезно участникам, которые хотят применять инструменты к собственным задачам.
Итогом обучения станет проект, связанный с применением больших языковых моделей для автоматической генерации тестовых материалов. В финальный день участники представят свои проекты и получат обратную связь.
Если у вас остались вопросы по участию в Школе, обращайтесь к менеджеру ЦПИО Екатерине Александровне Романенко (earomanenko@hse.ru).