V МЕЖДУНАРОДНАЯ ЛЕТНЯЯ ШКОЛА «Теория и практика разработки тестов: прикладная психометрика в психологии и образовании»

Mary Pitoniak (PhD, Educational Testing Service)

Carol Myford (PhD, University of Illinois at Chicago)

Linda Kook (PhD, The National Center for the Improvement of Assessment) 

Lidia Dobria (PhD, Wilbur Wright College)

 

Учебном центре «Особняк В.П. Кочубея» (г. Санкт-Петербург)

 

Прием заявок осуществляется онлайн по ссылке

Подробная программа Летней Школы на английском языке

 Обучение будет проходить на английском языке

Программа ЛШ предусматривает шесть полных учебных дней на одном из двух треков.

 

Модуль «Выделение уровней и установление пороговых баллов в образовательном оценивании» (преподаватель: Dr. Mary Pitoniak) разработан с целью научить слушателей действовать в разнообразии ситуаций и подходов к установлению уровней, проходных (cut scores) и пороговых баллов (benchmarks) в образовательном оценивании. Слушатели познакомятся с некоторыми из существующих методов установления порогов, научатся выбирать подходящий метод и валидно интерпретировать результаты в контексте конкретного измерения.

Модуль «Справедливость в образовательном тестировании» (преподаватель: Dr. Linda Kook) посвящен самому актуальному требованию к любому тесту – справедливости оценивания. Понимание того, что составляет справедливость оценивания, неоднократно изменялось и имеет психометрические, социальные и юридические коннотации. Слушатели познакомятся с тем, как составить теоретическую рамку для определения справедливости и как внедрить её элементы в процесс конкретного измерения – от этапа разработки инструмента до его администрирования.

 

Разработанный преподавателями Dr. Carol Myford и Dr. Lidia Dobria курс познакомит участников Летней Школы с двумя IRT-подходами к анализу данных экспертов-рейтеров: многофасетным Раш-моделированием (Many-Facet Rasch Modeling, MFRM) и иерархическим обобщенным линейным моделированием (Hierarchical Generalized Linear Modeling, HGLM). Изучаемые методы предназначены для выявления и измерения искажений, которые могут возникнуть в процессе экспертного оценивания (rater evaluation, marker evaluation) – от устных экзаменов до проверки заданий открытого типа). При измерениях подобного рода эксперты опираются на специально разработанные критерии, но в силу человеческого фактора могут ненамеренно вносить искажения («эффекты оценивающего»: например, эффект строгости/снисходительности, эффект центральной тенденции, эффект гало и др.). Используя результаты анализа в рамках современной теории тестирования (Item Response Theory, IRT), участники курса научатся выявлять возможные искажения и корректировать свои системы оценивания.

 

Владение разговорным английским языком. Базовые представления об измерениях в социальных науках, владение профессиональной терминологией. Базовые знания по классической теории тестирования и современной теории тестирования (IRT). Приветствуется наличие у слушателей собственных исследовательских проектов.

Для участия в Летней Школе участникам потребуются собственные компьютеры (ноутбуки).

В ходе работы ЛШ участники получат набор компетенций для проведения более объективных измерений в области психологии и образования. Дополнительными результатами может стать обмен собственным профессиональным опытом, установление научных контактов и налаживание межуниверситетского и межстранового сотрудничества.

 

·        Участники узнают и смогут использовать: терминологию задач по установлению порогов и уровней

·        Различные типы порогов  (относительные и абсолютные, критериально- и нормо-ориентированные), преимущества каждого типа

·        Роль экспертов в установлении порогов и уровней, их влияние на дизайн исследования и внедрение результатов

·        Роль разных заинтересованных сторон в процессе установления порогов и уровней

·        Категоризацию методов установления порогов и уровней

·        Общие этапы исследований по установлению порогов и уровней

·        Важнейшие аспекты обучения экспертов

·        Общие черты многих методов установления порогов и уровней

·        Глубокое понимание метода Bookmark и модифицированного метода Ангофа

·        Концепция пограничного (минимально-компетентного) кандидата

·        Теоретическую рамку валидационных исследований установленных порогов и уровней

·        Применение требований Standards for Educational and Psychological Testing при установлении порогов и уровней

·        Выбрать релевантный для своих целей метод установления порогов и уровней

·        Установить критерии отбора экспертов

·        Разработать описания уровней мастерства

·        Провести исследования по установлению порогов и уровней методом Bookmark и модифицированным методом Ангофа

·        Установить и оценить валидность результатов работы по установлению порогов и уровней

·        Участники узнают и смогут использовать: различные концепции справедливости в образовательном тестировании

·        Составляющие понятия справедливости

·        Основы разработки справедливых тестов

·        Вопросы сравнения результатов тестов, различающихся способом проведения, возрастом и выборкой участников

·        Требования к справедливости тестирования в соответствии со стандартами 2014 года Standards for Educational and Psychological Testing

·        Работать с литературой по справедливости оценивания

·        Оценить, несколько адекватно реализованы требования к справедливости оценивания в дизайне, разработке и проведении оценивания

·        Оценить сопоставимость результатов оценивания, проведенного различными способами на разных аудиториях и разных языках.

 

 

• Участники узнают: концептуальные и математические основания многофасетного моделирования в парадигме Раш-измерений
• Концептуальные и математические основания иерархического моделирования
• Концептуальные и математические основания анализа искажений и применения гибридных моделей анализа первичных данных
• Современные подходы к анализу данных на базе экспертной оценки
• Технические аспекты многофасетного и иерархического анализа
• Особенности работы с программным обеспечением по проведению многофасетного и иерархического моделирования данных

·        Участники смогут: ставить задачи для проведения сложного первичного анализа данных на базе экспертной оценки

·        Проводить первичный анализ данных на базе многофасетного моделирования в рамках современной теории тестирования

·        Проводить первичный анализ данных на базе иерархического моделирования в рамках современной теории тестирования

 

Стоимость участия в Летней школе составляет 700 евро и покрывает проживание в  комфортабельных двухместных номерах в Учебном центре «Особняк В.П. Кочубея» (г. Санкт-Петербург), питание (завтрак, обед, ужин и два кофе-брейка), раздаточные материалы. При ранней регистрации до 15 марта стоимость участия составит 600 евро. Оплата осуществляется после подтверждения о включении в учебную группу. Проезд до места обучения участники оплачивают самостоятельно.

Дедлайн заявок на участие в Летней школе – 30 апреля 2018 г.

Для подачи заявки на участие в школе необходимо:

 1. Заполнить форму заявки на русском или английском языке,

 2. Приложить резюме (CV) на русском или английском языке.

 

Организационную и практическую помощь участникам во время Летней школы будут оказывать сотрудники Центра мониторинга качества образования Института образования НИУ «Высшая школа экономики», Москва.

 

Для информации: на IV ЛШ, прошедшей в 2017 году, обсуждались темы новых подходов к разработке инструментов в рамках Evidence Centered Design (Mark Zelman, Всемирный Банк); современные методы экспертизы и аудита инструментов оценивания (Bas Hemker, Нидерланды); и методы разработки заданий типа performance-based (Carol Myford, США). III ЛШ 2016 года была посвящена особенностям измерений предметных, когнитивных и некогнитивных компетенций (Mark Zelman) и методам выявления источников искажений результатов тестирования (Thierry Rocher, Франция; и Carol Myford, США).

 

 

Руководитель V Международной Летней школы «Теория и практика разработки тестов: прикладная психометрика в психологии и образовании»:

Карданова Е.Ю., к.ф.-м.н., директор Центра мониторинга качества образования, академический руководитель магистерской программы «Измерения в психологии и образовании» Института образования НИУ «Высшая школа экономики» (e-mail: ekardanova@hse.ru).

 

Оргкомитет V Международной Летней школы «Теория и практика разработки тестов: прикладная психометрика в психологии и образовании»:

Иванова А.Е. (e-mail: aeivanova@hse.ru)

Антипкина И.В. (e-mail: iantipkina@hse.ru)

Федерякин Д.А. (e-mail: dafederiakin@hse.ru)

 

Менеджер V Международной Летней школы «Теория и практика разработки тестов: прикладная психометрика в психологии и образовании»:

Чаплина Т.А. (e-mail: tchaplina@hse.ru)