НИУ ВШЭ на конференции AEA-Europe: укрепление позиций и новые перспективы

Конференция AEA-Europe (Association of Educational Assessment – Europe) — ключевое событие в области образовательного оценивания. В отличие от менее активных региональных подразделений, таких как AEA-Asia-Pacific и AEA-Africa, европейская ассоциация демонстрирует живую и динамичную деятельность. Юбилейная 25-я конференция прошла в этом году на солнечном Кипре, собрав исследователей и практиков со всего мира.

Цели поездки и первые впечатления

Сотрудники Центра психометрики и измерений в образовании Института образования НИУ ВШЭ делятся своими впечатлениями.

Инна Антипкина, старший научный сотрудник Центра, доцент Института образования:

«Для меня это была уже четвёртая конференция AEA-Europe, но впервые с 2018 года. За прошедшие годы мое восприятие мероприятия значительно изменилось. В этот раз мы отправились втроём с коллегами, и мы преследовали разные цели: поддержать старые контакты, завести новые, разобраться в актуальных трендах, представить свои доклады и получить обратную связь. Конференция позволила это сделать и дала почву для новых идей и перспективных партнерств».

Дарья Грачева, младший научный сотрудник Центра психометрики и измерений в образовании, академический руководитель магистерской программы «Обучение и оценивание как наука»:

«Я участвовала в конференции AEA-Europe в прошлом году и не могла упустить возможность вернуться. Для нас, специалистов по измерениям, это профильное мероприятие, где обсуждаются актуальные исследования и практики мирового сообщества. Как академическому руководителю программы, связанной с измерениями, мне важно видеть, какие темы обсуждаются, чтобы поддерживать конкурентоспособность программы и давать студентам актуальные знания».

Даниил Талов, стажер-исследователь Центра психометрики и измерений в образовании НИУ ВШЭ:

«Это была моя первая поездка на международную конференцию, и она оказалась чрезвычайно ценной. Я получил возможность ознакомиться с работой зарубежных коллег и выделить ключевые направления исследований в области педагогических измерений. Особенно важным для меня стало общение с коллегами, занимающимися смежными темами. Этот опыт не только зарядил меня энергией для текущих проектов, но и вдохновил на новые идеи и исследования».

На одной волне с международным сообществом

Тематика конференции охватывала широкий круг вопросов: от национальных экзаменов и этики оценивания до использования искусственного интеллекта и анализа процессных данных о выполнении заданий. Сотрудники Центра отмечают, что их разработки идут в ногу с мировыми трендами.

«Слушая доклады других участников, мы чувствовали себя “на одной волне”, — отмечает Дарья. — Вместе со мной в секции выступали коллеги из CITO — старейшего и одного из самых мощных европейских центров психометрики. Их разработки в области выравнивания тестовых вариантов основаны на масштабных базах данных национальных экзаменов. В нашей работе в Центре мы не обрабатываем такие данные, но создаем собственные уникальные продукты. Один из них — тест цифровой грамотности DigLit выполненный в формате интерактивных сценарных заданий. В своём докладе я представила подход к обеспечению сопоставимости результатов таких заданий, опираясь на выводы своей аспирантской диссертации. Коллеги из CITO поделились, что также работают над оцениванием цифровой грамотности в интерактивных цифровых средах, и пообещали прислать материалы”.

“Одним из ключевых направлений исследований в психометрике является валидность” — рассказывает Даниил. — “В своем докладе я представил психометрические модели, которые позволяют корректировать тестовые баллы с учетом дополнительных переменных. Такой подход помогает исключить влияние факторов, которые не связаны с оцениваемыми конструктами. В докладе я описывал проблему тестирования математики в первом классе. Так как не все дети хорошо читают в первом классе, необходимо дублировать задания аудиально. В качестве примера, я исключал влияние восприятия на слух на итоговый балл по математике. Моё исследование продолжает развитие темы валидности, которая активно обсуждалась на конференции. Было представлено несколько интересных докладов, посвящённых, например, автоматической оценке с использованием технологий искусственного интеллекта. Кроме того, коллеги показали подходы к выявлению аберрантных ответов с помощью методов машинного обучения”.

“Я занимаюсь вопросами измерений и оценивания с 2010 года, защитила диссертацию по этой теме и несколько лет руководила магистерской программой в этой области. Это даёт мне уверенность в способности оценивать качество исследований” - продолжает Инна Антипкина,- “Работы наших коллег из Центра и магистерской программы я невольно сравнивала с тем, что представлено на международной арене. По многим направлениям мы движемся параллельно с ведущими мировыми центрами. Особенно это касается тем, связанных с искусственным интеллектом, промптингом и автоматическим оцениванием с применением различных технологий”.

Наконец, в ряде исследований мы продвинулись дальше, - продолжает Инна, - например, участники из Норвегии представили тест по математике для детей 6–8 лет: компьютеризированный и озвученный диктором. В нашем Центре с 2014 года был разработан и уже давно успешно используется тест «Старт», который также выполнен в компьютерной форме с использованием картинок и озвучен профессиональным диктором. Правда, изначально он не был придуман с нуля — это тест, созданный в рамках международного исследования с Университетом Дарема, известный как iPIPS. По этому тесту проведено множество исследований, и недавно даже вышла книга от международного издательства.

Обмен опытом и перспективы сотрудничества

Конференция AEA-Europe — ведущая площадка для обмена опытом, обсуждения трендов и поиска партнеров в образовательном оценивании. Среди сильнейших центров измерений можно выделить нидерландскую организацию CITO, Cambridge Assessment и исследовательские группы шведских и норвежских университетов.

“Британские коллеги впечатляют своим коммерческим успехом. Например, Анна Грин, глава международного отдела Cambridge Assessment, рассказала о разработке заказных экзаменов для таких стран, как Узбекистан. Я невольно почувствовала зависть, слушая, как масштабно они работают,” — признается Инна Антипкина, старший научный сотрудник Центра психометрики и измерений в образовании.

Конференция стала не только источником вдохновения, но и площадкой для перспективного сотрудничества. Сотрудники Центра познакомились с исследователями из Чили, которые представили программу для автоматической проверки качества тестовых заданий с выбором ответа на испанском языке.

“Наши коллеги из Центра сейчас работают над похожей задачей, создавая чат-бота, который поможет находить ошибки в формулировках заданий и делать их лучше,” — отмечает Дарья Грачева. Похожие идеи объединили участников, и стороны обменялись контактами для дальнейшего сотрудничества.

“Для меня было важно увидеть, что другие исследователи занимаются схожими проектами, что и я. — рассказывает Даниил. — Например, один из ключевых спикеров -  профессор Джошуа МакГрейн, представлял исследование возможности применения больших языковых моделей (LMM) для проверки открытых ответов на задания. После выступления мы более подробно обсудили опыт работы с LMM, особенности проверки заданий в разных предметных областях. Я рассказал рассказал Джошуа о российских моделях, таких как YandexGPT и GigaChat.”

Выводы: что дальше?

По итогам конференции сотрудники Центра уверены: их работа находится на уровне ведущих мировых центров.

«У нас сильный Центр, качественные измерительные продукты и продвинутая методология. Однако о нас пока мало знают. Хотя благодаря ранее выстроенным связям нас уже узнают коллеги из Нидерландов, Кембриджа и других центров. Конференции такого уровня помогают укреплять эти связи и двигаться вперёд,» — подытожила Инна Антипкина.

Конференция стала не только площадкой для обсуждения новых подходов, но и местом, где формируются идеи для дальнейшего развития и международного сотрудничества.

Репортаж подготовлен совместно сотрудниками Центра психометрики и измерений в образовании НИУ ВШЭ.

Научная комиссия ФСН предоставляет финансовую поддержку на участие в научных мероприятиях. Условия получения тревел-грантов размещены на сайте комиссии.