Центр психометрики и измерений в образовании

 

Психометрические исследования — это методы измерения и оценки различных характеристик людей, включая психологические особенности, знания, компетенции, навыки и т.д., с использованием статистических методов.

 

IV Международная летняя школа «Теория и практика разработки тестов в психологии и образовании»

Мероприятие завершено

Институт образования НИУ ВШЭ объявляет прием заявок на участие в IV МЕЖДУНАРОДНОЙ ЛЕТНЕЙ ШКОЛЕ «Теория и практика разработки тестов в психологии и образовании».

К участию приглашаются студенты, аспиранты и молодые учёные, которые в своей работе сталкиваются с разработкой и применением тестов в сфере образования, а также сотрудники центров тестирования и центров оценки качества образования России и зарубежных стран.

Летняя школа состоится 23-29 июля 2017 г. в учебном центре «Вороново»  (Подмосковье). Заезд 23 июля. От Москвы до места проведения школы будет организован трансфер.

Основные задачи Летней школы:

  • познакомить слушателей с теорией и практикой инновационных подходов к разработке инструментов оценивания;
  • сформировать единые профессиональные стандарты в области разработки и применения тестов в образовании.

Актуальность темы Летней школы 2017 г. диктуется теми изменениями, которые наблюдаются сегодня в сфере оценивания в образовании. Переход от измерений учебных достижений по отдельным предметам к так называемым базовым компетенциям, метапредметным навыкам, компетенциям 21-го века, универсальным по отношению к любым предметным областям, требует других инструментов и других технологий оценки. Инструменты и технологии становятся все более сложными, соответственно более сложными становятся и задачи, которые необходимо решать во время разработки инструментов, а также обоснования их надежности и валидности.

Руководитель Летней школы – Карданова Елена Юрьевна, к.ф.-м.н., директор Центра мониторинга качества образования, Институт образования НИУ «Высшая школа экономики», Москва

Основные темы, планируемые к изучению и обсуждению:

  • Новые подходы к разработке инструментов оценивания в образовании: разработка инструментов оценивания в рамках подхода Evidence Centered Design;
  • Современные методы экспертизы и аудита инструментов оценивания. Знакомство с международными системами оценивания качества тестов. Построение целостного подхода к обеспечению качества разрабатываемых тестов.
  • Разработка заданий типа Performance-based (эссе, сочинения, проекты, задания для творческих и устных экзаменов) и критериев их оценивания.

В ходе летней школы молодые исследователи и сотрудники центров тестирования и центров оценки качества образования получат возможность углубить свои знания в области разработки тестов и психометрического анализа качества тестовых заданий,  поучаствовать в семинарах и мастер-классах ведущих российских и зарубежных ученых, уточнить дизайн и методологию собственного исследования, наметить новые исследовательские направления в работе.

Работать со слушателями будут ведущие зарубежные эксперты в области психометрии:

Bas Hemker, PhD (Институт педагогических измерений СИТО, Нидерланды);

Mark Zelman, PhD (Всемирный Банк);

Carol Myford, PhD (Университет штата Иллинойс в Чикаго, США).

а также ведущие российские эксперты:

Елена Карданова, к.ф.-м.н., директор Центра мониторинга качества образования, НИУ «Высшая школа экономики», Москва,

Екатерина Орел, к.п.н., научный сотрудник Центра мониторинга качества образования НИУ «Высшая школа экономики», Москва,

Сотрудники Центра мониторинга качества образования, Институт образования НИУ «Высшая школа экономики», Москва.

Организация занятий

Как и в прошлые годы, часть занятий пройдет совместно, а часть – отдельно по двум параллельным трекам.

Вводная часть: Введение в технологию разработки тестов Evidence-Centered Design (ECD) (Ведущий - эксперт Марк Зелман)

Аннотация:
Новый инновационный подход к созданию тестов под названием Evidence-Centered Design (ECD) все сильнее вторгается в психометрическую практику. Это легко объяснимо, поскольку требующие оценивания конструкты становятся все более сложными и многомерными (что заметно, например, при оценивании метапредметных навыков), а традиционные подходы к разработке тестов оказываются неудовлетворительными. Есть основания считать, что скоро ECD так же потеснит традиционные подходы к разработке тестов, как IRT (Item Response Theory) в свое время потеснила КТТ (Классическую Теорию Тестирования). Какие основания так считать имеются у разработчиков и чем новый подход отличается от старого – будет подробно, с примерами и обоснованиями, рассказано во вводной части занятий Летней школы-2017.
Рабочий язык вводной части: русский

Трек 1: Углубленное изучение  технологии разработки тестов Evidence-Centered Design (ECD) (Ведущий - эксперт Марк Зелман)

Аннотация:

Во время обучения на треке 1 слушатели узнают, как на практике создать тест в рамках  подхода ECD – от разработки модели измеряемых компетенций до построения теоретической рамки теста и воплощения его в реальных заданиях. Также слушатели познакомятся с байесовской статистикой и графическими сетями для оценивания испытуемых, а также с некоторыми современными вычислительными алгоритмами (такими, как Цепи Маркова методом Монте-Карло (Markov Chain Monte Carlo, MCMC) для преодоления затруднений, накладываемых подходом в рамках байесовской статистики.

Итогом обучения станет умение применять на практике подход ECD - построение модели компетенций, модели заданий и т.д.
Рабочий язык трека 1: русский.

Трек 2 будет состоять из двух последовательных частей.

Трек 2, часть 1: Экспертиза качества тестов (Ведущий - эксперт Бас Хемкер)

Аннотация:
Как известно, в странах с долгой историей педагогического тестирования приняты стандарты, используемые для экспертизы качества тестов (такие, как голландская  система COTAN или американские стандарты AERA/APA/NCME). В нашем курсе вы познакомитесь с важнейшими индикаторами качества тестов, которые присутствуют в большинстве существующих систем. Особое внимание будет уделено наиболее интересным практическим вопросам оценивания качества тестов, которые неизбежны в оценивании тестов на практике. Какие исследования необходимо провести, когда мы оцениваем эквивалентность бланковой и компьютерной формы тестов?  Как оценить различное функционирование заданий (DIF)? В какой момент DIF становится проблемой и означает ли отсутствие выявленного различия в функционировании заданий то, что у теста нет проблем, связанных с DIF? Какие показатели надежности можно использовать и когда? Какие есть альтернативные варианты для измерения надежности? Как оценить конструктную валидность? Что такое аргументы валидности, и многое другое.
Итогом обучения станет целостное понимание требований к оцениванию качества тестов и умение реализовать их на практике.

Трек 2, часть 2: Разработка заданий типа Performance-based и критериев их оценивания (Ведущий – эксперт Кэрол Майфорд)

Аннотация:
В настоящее время в практику оценивания все чаще включаются задания типа Performance-based. К ним относятся задания для устных экзаменов, задания для оценки результатов проектной деятельности, задания для творческих экзаменов (результатом которых являются художественное произведение или выступление), а также задания со свободно-конструируемым ответом (эссе, сочинения, требующие решения задачи и т.п.). В процессе оценивания таких заданий экзаменаторы опираются на свои наблюдения и выносят профессиональные суждения на основании четко описанных критериев. Целью данного трека является получение слушателями компетенций по разработке таких заданий, а также по созданию критериев для их оценивания. Слушатели познакомятся с различными типами подобных заданий, их сильными и слабыми сторонами и подходящими методами оценивания, узнают, как разрабатывать спецификации для таких заданий, научатся разрабатывать критерии, создавать проверочные списки (чек-листы) или различные типы шкал для экзаменаторов (числовые, графические, дескриптивно-графические) и рубрики (холистические, аналитические, центрированные на задании), пригодные для использования в неформальном и формальном оценивании. Будут обсуждаться преимущества и недостатки каждого типа инструментов оценивания, их характеристики, подобающее использование данных инструментов и этапы их создания.

Рабочий язык трека 2: английский (c частичным переводом на русский язык).


Кроме занятий, планируется проведение мастер-классов, дискуссий, индивидуальное консультирование слушателей по их проектам.

Стоимость участия в Летней школе составляет 40000 руб. (включая проживание в двухместных номерах в учебном центре «Вороново», питание, раздаточные материалы).

Институт образования предоставляет 10 грантов на конкурсной основе для участия в школе. Грант полностью покрывает стоимость участия в Летней школе (включая проживание и питание).

Дополнительно Институт образования предоставляет 5 грантов на конкурсной основе, покрывающих 50% стоимости участия.

Кто может подать заявку на Летнюю школу:

  • студенты, аспиранты, докторанты, недавно защитившиеся молодые ученые (кандидаты наук, PhD и т.д.);
  • молодые специалисты без степени, но с высшим образованием (специалитет или магистратура);
  • сотрудники центров тестирования и центров оценки качества образования России и стран СНГ.

Заявки на участие в Летней школе принимаются до 10 мая 2017 г.

Для участия в конкурсе необходимо представить следующие документы на русском языке:

     1.     Заполненная форма заявки

     2.     Резюме (CV)

     3.     Мотивационное письмо.

Прием заявок осуществляется онлайн по ссылке.   

Итоги конкурса будут объявлены не позднее 12 мая 2017 г.

С вопросами можно обращаться к менеджеру Летней школы Татьяне Чаплиной: tchaplina@hse.ru.

Оргкомитет IV Международной  Летней школы «Теория и практика разработки тестов в психологии и образовании»:
Болотов В.А., д.п.н., научный руководитель Центра мониторинга качества образования, Институт образования НИУ «Высшая школа экономики»

Карданова Е.Ю., к.ф.-м.н., директор Центра мониторинга качества образования, академический руководитель магистерской программы «Измерения в психологии и образовании», Института образования НИУ «Высшая школа экономики»

Канонир Т.Н., PhD, научный сотрудник Центра мониторинга качества образования, Институт образования, НИУ «Высшая школа экономики»