V МЕЖДУНАРОДНАЯ ЛЕТНЯЯ ШКОЛА «Теория и практика разработки тестов: прикладная психометрика в психологии и образовании»
Летняя Школа «Теория и практика разработки тестов: прикладная психометрика в психологии и образовании» в этом году состояла из двух треков.
Тематикой Трека 1 стали стандарты справедливости оценивания, связывание тестовых форм и установление пороговых баллов. Участники Трека 2 изучали методы установления согласованности экспертных оценок.
Стандарты справедливости оценивания. Еще пару десятков лет назад считалось, что если тест имеет хорошие психометрические качества и свидетельства валидности, и если отсутствует так называемый DIF (differential item functioning), то тест хороший. Сегодня этого уже недостаточно. Тест может прекрасно работать для большинства людей, но пока есть группы людей с особыми потребностями, которые выполняют ваш тест иначе (лучше или, что чаще, хуже), чем респонденты без таких потребностей, – тест надо дорабатывать. Для некоторых видов трудностей, таких как нарушения зрения, слуха или моторики, необходимо особых версий теста очевидна. Для других особых потребностей, например, для дислексии, уже нужны отдельные исследования, чтобы показать, что придуманные вами аккомодации (то есть, те варианты теста, которые отвечают потребностям группы людей с особыми потребностями, но при этом не меняют оцениваемый конструкт) – справедливы для всех. Д-р Линда Кук – один из крупнейших в мире специалистов по справедливости оценивания. На ее занятиях участники знакомились с дизайнами исследований на установление справедливости, а затем сами предлагали свои варианты решения таких задач.
Выравнивание тестовых вариантов. В образовательном тестировании часто используются множественные варианты тестов. Задача психометриков – установить степень их равноценности. Если же один вариант оказывается труднее или легче остальных, то необходимо еще и выровнять результаты с помощью специальных методик. С точки зрения справедливости оценивания, связывание между собой результатов по разным тестам – принципиально важный этап реализации оценивания. Линда Кук не только показала применение ряда методик, но и рассказала об уникальных исследованиях по связыванию результатов тестов, которые она с коллегами проводила в компании ETS.
Установление пороговых баллов. Мы все когда-то сдавали важные экзамены и с тревогой ждали результатов: прошел или не прошел? Сдал или нет? Неудивительно, что вопрос установления пороговых баллов – один из ключевых в психометрической практике. Д-р Мэри Питониак провела десятки сессий по установлению пороговых баллов в самых разных областях оценивания, от мониторингов школьных достижений до сертификации медсестер. На ее занятиях участники сами провели учебную сессию по установлению тестовых баллов, разобрали все встретившиеся затруднения и теперь готовы применять методики в реальных условиях.
Методы выявления согласованности экспертных оценок. В образовательном тестировании невозможно уйти от привлечения экспертов. Эксперты оценивают устные выступления, портфолио и задания со свободно-конструируемым ответом (например, сочинения). В помощь экспертам создают рубрики (системы критериев оценивания) и проводят тренинги. Однако даже после этого остается вероятность смещения оценок экспертов. Выявить такие систематические смещения позволяют некоторые виды анализа. Это единственный способ получить доказательства справедливости экспертной оценки. Именно о том, как построить дизайн исследования экспертов, как их обучать и создавать для них критерии, а также о том, как собственно обработать данные, чтобы установить согласованность мнений экспертов, рассказывали слушателям второго трека ЛШ д-р Кэрол Майфорд и д-р Лидиа Добриа.
Мы спросили руководителя 5-й Летней школы Елену Карданову, что отличало пятую летнюю школу от четырех предшествующих: «С одной стороны, мы, как всегда, выбрали самые острые и в то же время практико-ориентированные темы. Наши преподаватели – звезды мировой психометрики, и им было, чем делиться со слушателями. Но на этот раз мы сделали английский язык рабочим для обоих треков. Это привлекло в нашу школу участников из 12 стран, не считая России. На заявленные нами темы и экспертов собрались не только начинающие специалисты, но и опытные психометрики. Преподаватели говорили мне, что давно не чувствовали в аудитории такого драйва. А одна из них даже сказала, что это был лучший на ее памяти курс. Возможно, повлияло и то, что наши занятия проходили в учебном центре вышки «Дворец Кочубея» в городе Пушкине, под Питером. Оттуда можно за несколько минут дойти до великолепного Екатерининского парка, чуть дольше до Александровского парка, меньше часа пешком до города Павловска с одним из крупнейших в Европе Павловским парком. Погода была как на заказ. Поэтому участники школы быстро передружились, ходили после ужина на прогулки, обсуждали свою работу. У многих оказались схожие проекты и темы исследований. Кто-то кого-то вспомнил по конференциям, у некоторых оказались общие учителя или партнеры по работе. Психометрика – узкая область, но ее значение для справедливости образования невозможно переоценить. Эта летняя школа показала, что психометрики из разных стран отлично находят общий язык и придерживаются схожих ценностей».
Некоторые из обсуждений жизни психометриков в разных странах мы с согласия участников записали и уже опубликовали в наших группах в социальных сетях – мы приглашаем всех присоединяться к нам. Кроме того у Летней школе по психометрике появился свой сайт. На нем вы сможете познакомиться с хроникой прошедшей летней школы и нашими планами на будущее.