В учебном центре Вышки «Вороново» прошла III Международная летняя школа «Теория и практика разработки тестов в психологии и образовании»

Для участия в школе, организатором которой выступил Центр мониторинга качества образования (ЦМКО) Института образования, съехались студенты, молодые учёные и сотрудники центров тестирования и центров оценки качества образования из разных регионов России, Казахстана и Киргизии.

Напомним, что основной целью школы, которая проводится уже в третий раз, является формирование в России и странах СНГ профессионального сообщества в области разработки оценочных инструментов в образовании и повышение общей культуры работы с тестовыми методиками в рамках образовательной оценки. 

Задачи, которые ставили перед собой организаторы школы, заключались в том, чтобы а) познакомить слушателей, во-первых, с теорией и практикой разработки инструментов для оценивания метапредметных и некогнитивных навыков, таких как критическое мышление, решение проблем, информационная грамотность и др.; а во-вторых, — с некоторыми методами углубленного психометрического анализа результатов тестирования; б) сформировать единые профессиональные и этические стандарты в области разработки и применения тестов в целях педагогической оценки.

27 участников школы, приехавших из разных регионов России, Казахстана и Киргизии, были поделены на два трека: 1 «Метапредметные и некогнитивные навыки и их измерение», где преподавание велось на русском языке; 2 «Углубленные методы психометрического анализа результатов тестирования» — с преподаванием на английском.

В первый день школы слушатели обоих треков занимались совместно на лекциях и практических занятиях руководителя ЦМКО Елены Кардановой и научного сотрудника ЦМКО Екатерины Орел. Их занятия были посвящены измерению предметных компетенций и анализу психометрических свойств заданий в рамках классической и современной теории тестирований. Далее работа треков шла параллельно.

Темы, рассматриваемые в рамках треков, являются новыми и актуальными для психометриков и тестологов не только в России, но и в Европе. Актуальность тематики первого трека объясняется растущим интересом профессионального сообщества к измерению «компетенций XXI века», поэтому преподаватели трека 1 Екатерина Орел и приглашенный эксперт Всемирного банка Марк Зелман (Mark Zelman, PhD) подробно прорабатывали с участниками школы вопросы операционализации метапредметных и некогнитивных навыков, составления дизайна исследования и разработки заданий сценарного типа, а также обсуждали оптимальные методы обработки результатов тестирований, в которых используются задания сценарного типа. Одной из наиболее интересных и сложных лекций данного трека была презентация Марка Зелмана о байесовских сетях – подходе к обработке результатов, который позволяет построить самообучающуюся сеть, отражающую все связи между измеряемыми компетенциями.

Первая половина трека 2 была посвящена методам исследования различного функционирования тестовых заданий по отношению к различным группам испытуемых (DIF-анализу). Специально приглашенный на летнюю школу вице-президент ассоциации AEA-Europe (Association for Educational Assessment) Тьерри Роше (Thierry Rocher) глубоко раскрыл тему DIF-анализа, систематизировав его методы в рамках классической теории тестирования и IRT и объясняя плюсы и минусы каждого метода. На практических занятиях он показал, как собственно выявлять DIF заданий в программе R различными методами. 

Вторая половина трека 2 была внутренне связана с первой, поскольку занятия были посвящены анализу экспертной деятельности (в том числе и выявлению DIF в оценках экспертов). На лекциях и практических занятиях профессора Университета штата Иллинойс (Чикаго, США) Кэрол Майфорд (Carol Myford) участники школы познакомились с разными подходами к оцениванию деятельности экспертов, а также научились анализировать работу экспертов в рамках многофасетных моделей современной теории тестирования в программе MiniFac.

Работа на летней школе была очень интенсивной. По вечерам участники обоих треков готовили групповые проекты, которые презентовали перед экспертами школы в субботу, 30 июля. Однако даже при таком загруженном графике у студентов и преподавателей школы нашлось время для ставшего традиционным Вечера национальной культуры — праздника, на котором все желающие могли ознакомить коллег по школе с культурой, особенностями и едой своей страны. На третьей школе участники представили разные города России (Новосибирск, Красноярск, Иваново, Москву), Казахстан, Киргизию, а также — силами приглашенных преподавателей — США и Францию.

Отдельного упоминания заслуживает «День мастер-классов», в течение которого слушатели треков снова объединились, чтобы послушать мастер-классы преподавателей ЛШ и специально приглашенных гостей по отдельным темам. В этом году за один день участники школы приняли учкастие в четырех мастер-классах:

•  «Разработка инструментов оценивания в рамках идеологии Evidence Centered Design» (Марк Зелман);
• «Инструмент измерения информационно-коммуникационной компетенции для десятиклассников» (Максим Руднев и Ксения Тарасова, НФПК, Москва);
• «Как валидизировать инструмент оценивания результатов обучения (на примере инструмента SAM (Student Achievement Monitoring)» (Елена Карданова, НИУ ВШЭ);
• «Подходы к измерению компетенции "Решение проблем"» (Федор Дудырев и Екатерина Орел, НИУ ВШЭ).

  
  Отзывы участников III Летней школы
  
  

Мария Савикова, 25 лет, мл. научный сотрудник Лаборатории профессионального развития образования Института системных проектов (МГПУ). Занималась на Треке 1.

Откуда вы узнали о летней школе? — "Я посещаю семинары Высшей школы экономики и на одном из них услышала о летней школе".

Что показалось наиболее полезным?  — "Когда я ехала на школу, у меня были вопросы относительно компетентостного подхода и того, как измерять определенные межпредметные компетенции. Если не учитывать опыт общения в рамках научного сообщества, что я считаю бесконечно полезным, а говорить о материале, то мне были полезны несколько лекций, но даже не сами лекции, а какие-то ключевые моменты, например опыт шотландских коллег меня сильно заинтересовал, и тот подход, который использует Марк Зелман. В процессе общения с ним мы видели, как он кропотливо подходит к измерениям".

Какие темы хотелось бы послушать в ЛШ в следующем году?  — "Мне была бы интересна моя проблематика: я занимаюсь оценкой и аттестацией педагогических работников. Меня бы интересовали примеры оценивания не учащихся, а педагогов".

Елена Садулова, 36 лет, по образованию — учитель иностранных языков, работает экспертом по оцениванию в Национальном центре тестирования республики Казахстан. Занималась на Треке 2.

Откуда Вы узнали о летней школе?  —  "Я с коллегами из нашего Центра тестирования была на II летней школе в прошлом году".

Что показалось наиболее полезным?  — "Тема, которую читает Кэрол (Кэрол Майфорд — прим. ред.) для меня очень интересна, потому что у нас работают эксперты, которые оценивают портфолио, и есть необходимость оценивать их работу. Поэтому самыми яркими впечатлениями были лекции Кэрол и еще день мастер-классов".

Какие темы хотелось бы послушать в ЛШ в следующем году?  — "Для меня сложность представляет программа R, возможно, было бы полезно послушать о работе в R на более доступном уровне".

Алдар Николаев, 29 лет, учился на факультете психологи МГУ и в НИУ ВШЭ, работает в Академии Росатома, Москва. Занимался на Треке 2.

Откуда Вы узнали о летней школе? — "Не помню, как узнал, то ли коллега прислал информацию, то ли сам случайно нашел. Я выбрал второй трек, потому что люблю статистику, и проект, которым я сейчас занимаюсь, — это разработка тестов".

Что показалось наиболее полезным? — "Поскольку я занимаюсь R, для меня самой полезной частью были занятия Тьерри Роше по DIF-анализу в R".

Какие темы хотелось бы послушать в ЛШ в следующем году?  — "Байесовы сети диагностики. И еще тут на занятиях поднималась тема кросс-культурной эквивалентности тестов — это тоже было бы интересно".

 

Летняя школа завершилась, что дальше?

Говорит руководитель ЦМКО и Летней школы Елена Карданова: «Теперь, когда Школа успешно завершилась, нам всем, и организаторам, и участникам, в том числе и потенциальным, можно задать себе вопрос: на каких темах нам хотелось бы сосредоточиться через год на следующей летней школе? Уверена, что IV летняя школа «Теория и практика разработки тестов» будет еще интереснее!»