VI Международная летняя школа «Теория и практика разработки тестов: прикладная психометрика в психологии и образовании»
Преподаватели:
Dr. Christine Fox (The University of Toledo)
Dr. Svetlana Beltyukova (The University of Toledo)
Dr. Theodore Walls (The University of Rhode Island)
Dr. Gary Cook (University of Wisconsin-Madison)
Dr. Gavin Brown (The University of Auckland)
Время проведения:
05-10 августа 2019
Летняя школа будет проводиться в Москве в Национальном исследовательском университете «Высшая школа экономики».
Рабочий язык летней школы – английский.
Регистрация завершена.
Если Вы не успели зарегистрироваться, но очень хотите принять участие в Летней школе свяжитесь, пожалуйста, с руководителем летней школы, Е.Ю. Кардановой ekardanova@hse.ru
Участники летней школы могут выбрать один из трех треков:
- Трек 1. Раш-моделирование и все что стоит за этим
- Трек 2. Моделирование роста
- Трек 3. Исследование структуры данных и оценка размерности: эксплораторный и конфирматорный факторный анализ
Подробное описание треков приведено ниже.
Трек 1. Раш-моделирование и все что стоит за этим
Трек «Раш-моделирование и все что стоит за этим», который будут читать доктор Кристина Фокс и доктор Светлана Белтюкова, ориентирован на то, чтобы познакомить слушателей с основными принципами объективных измерений и двумя базовыми моделями семейства Георга Раша (George Rasch) – дихотомической моделью Раша (Rasch model, RM) и моделью Раша для рейтинговых шкал (Rating Scale Model, RSM). Дихотомическая модель Раша является одной из самых популярных моделей в тестировании, используемых для ситуаций оценивания, которые можно свести к дихотомии «верно-не верно». Модель Раша для рейтинговых шкал применяется при работе с самыми различными опросами и тестированиями, предполагающими выбор степени предпочтения или согласия.
Обе модели предоставляют обширные диагностические возможности анализа функционирования заданий и профилей испытуемых и позволяют разработчикам и пользователям тестов оценить, насколько качественно конкретный инструмент измеряет заложенное в него содержание, а также дает возможность проведения объективного сравнения баллов, полученных для разных подгрупп и в разное время. Помимо этого, на вводном уровне будут рассмотрены модель частичного оценивания (Partial Credit Model, PCM) и регрессионный анализ в Раш измерениях.
Образовательные цели
- Понять фундаментальные принципы измерений
- Научиться выбирать и интерпретировать базовые средства Раш-диагностики
- Научиться создавать контрольный файл Winsteps для дихотомической модели Раша
- Научиться интерпретировать результаты, полученные в Winsteps для анализа в рамках дихотомической модели Раша
- Научиться создавать контрольный файл Winsteps и интерпретировать результаты для анализа в рамках модели RSM
- Понять преимущества модели PCM
- Научиться описывать различия моделей RSM и PCM
- Научиться подбирать понятные и ориентированные на пользователя тестовые шкалы и презентовать результаты психометрического анализа
- Научиться идентифицировать задания и испытуемых, не согласующихся с моделью измерения, и принимать решения относительно них
- Научиться идентифицировать и интерпретировать проблему различного функционирования заданий
- Научиться идентифицировать и принимать решения относительно избыточных заданий
- Научиться создавать итеративный контрольный файл для Раш-регрессии
- Научиться интерпретировать результаты анализа в рамках валидизационного исследования
Трек 2. Моделирование роста
Трек состоит их двух курсов: «Вертикальное шкалирование и модели роста» и «Лонгитюдный анализ данных».
Курс «Вертикальное шкалирование и модели роста» доктора Гэрри Кука познакомит участников с основными концепциями и подходами к вертикальному шкалированию для крупномасштабных образовательных исследований с использованием средств современной теории тестирования. Также в рамках занятий будут представлены методы применения моделей роста для оценки динамики достижений студентов. Разнообразные модели роста будут обсуждаться в контексте их преимуществ и недостатков.
Занятия начнутся с краткого обзора теории измерений, начиная с классической теории тестирования и до современной теории тестирования (IRT). После чего мы перейдем к обсуждению методов, используемых для проведения вертикального шкалирования. В работе будет использоваться базовая дихотомическую модель Раша (Rasch model), однако также будут рассмотрены различия между спецификой вертикального шкалирования с применением моделей Раша и некоторых других моделей IRT.
Далее будет дан обзор различных моделей роста с использованием вертикальных шкал. На этих занятиях будут обсуждаться особенности функционирования каждой модели роста, а также методы и ресурсы, необходимые для их расчета. Занятия завершатся дискуссиями об осмысленном применении моделей роста в образовательной и исследовательской среде.
Образовательные цели
- Повторить теории измерений, включая классическую теорию тестирования и современную теорию тестирования (IRT).
- Понять методики проведения вертикального шкалирования с использованием базовой модели Раша
- Понять выгоды и вызовы реализации различных типов вертикального выравнивания в рамках IRT
- Понять основные принципы и особенности функционирования моделей роста в сфере образования
- Научиться применять базовые подходы и методологию расчетов различных моделей роста в образовательных исследованиях
- Получить практический опыт расчета различных моделей роста с применением программных средств R
Вертикальное шкалирование и модели роста
Курс «Лонгитюдный анализ данных» доктора Теодора Уолса покроет три основные сферы анализа лонгитюдных данных: симуляция и программирование, лонгитюдный дизайн, методы анализа изменений. Курс нацелен на то, чтобы исследователи, заинтересованные в углубленном анализе лонгитюдных данных, имели как базовые концептуальные навыки, так и опыт, необходимый для самостоятельной разработки прикладных моделей в своей работе.
Мы рассмотрим такие темы как: анализ различий и оценка динамики, ANOVA повторяющихся (циклических) замеров, перекрестный лонгитюдный регрессионный анализ, анализ временных рядов и семейство моделей со случайными эффектами, включая иерархические линейные модели, многоуровневые модели и анализ моделей роста. Также будут рассмотрены некоторые недавно разработанные модели.
Образовательные цели
- Понять лонгитюдный дизайн для различных исследовательских целей в рамках изучения различных поведенческих и психологических проблем и феноменов
- Понять основы моделирования, созданного, чтобы помочь исследователям изучать изменяющуюся природу объектов исследования
- Получить практический опыт моделирования и базовые компетенции, необходимые для самостоятельного проведения исследований на лонгитюдных данных
- Получить навыки углубленного моделирования с помощью лонгитюдных данных, полученных на большом количестве замеров. Уметь оценивать связанные с этим вызовы и возможности
- Познакомиться с научной литературой в исследовательском поле работы с лонгитюдными данными
Трек 3. Исследование структуры данных и оценка размерности: эксплораторный и конфирматорный факторный анализ
В рамках курса «Исследование структуры данных и оценка размерности: эксплораторный и конфирматорный факторный анализ» доктор Гейвин Браун расскажет про принципы и практики, стоящие за работой со снижением размерности данных. Методы снижения размерности предполагают, что за данными с большим количеством переменных стоит некоторое небольшое количество ненаблюдаемых факторов, и что эти ненаблюдаемые факторы могут быть операционализированы до уровня имеющегося множества индикаторов – переменных в данных. Модели для подобных целей основаны на одновременной оценке большого количества параметров (включая матрицы дисперсии-ковариации индикаторов, стандартные ошибки измерения, ковариации факторов). Участники трека научатся принципам определения оправданного количества размерностей, до которых можно сжать имеющиеся данные, и тому, как это можно проверить.
Широко известно, что на одних и тех же данных может быть рассчитано множество различных конкурентных статистических моделей. Неудивительно, что некоторые из этих моделей могут быть недопустимы даже при относительно большом размере выборки (напр., N > 400). В связи с этим часть времени курса будет отведена на выявление причин и устранение ошибок при оценке параметров моделей (напр., отрицательно определенная матрица ковариаций или отрицательная дисперсия ошибок). Образовательные исследования часто направлены на сравнение нескольких групп респондентов, прошедших один и тот же тест в терминах балла по этому тесту. В связи с этим часть времени курса будет уделена способам анализа иерархической межгрупповой измерительной инвариантности для правомерного сравнения этих групп.
Образовательные цели
- Понять цели и основания для снижения размерности данных и определения количества факторов
- Понять различия в использовании и целях эксплораторного и конфирматорного факторного анализа
- Понять необходимость сравнения альтернативных моделей и умение их сравнить
- Научиться проводить эксплораторный и конфирматорный факторный анализ
- Научиться находить и решать проблемы, связанные с проведением факторного анализа
Эксплораторный и конфирматорный факторный анализ
Пререквизиты к участникам летней школы
Трек 1
- Разговорный английский
- Собственные ноутбуки
Трек 2
- Разговорный английский
- Собственные ноутбуки
- Базовое понимание таких измерительных концептов как надежность, валидность, генерализуемость, объективность и эквивалентность
- Базовое понимание классической и современной теорий тестирования
- Знакомство со статистическими моделями (в основном, регрессионным анализом)
- Знакомство с программной средой R
Трек 3
- Разговорный английский
- Собственные ноутбуки
- Знакомство со следующими статистическими концептами: критерий хи-квадрат Пирсона, доверительные интервалы, корреляция и ковариация, регрессия
Регистрация и оплата участия
Стоимость участия в летней школе для граждан СНГ составляет 30 000 рублей.
Для тех, кто не является гражданами СНГ стоимость участия при ранней регистрации (до 15 апреля) составляет 30 000 рублей, при регистрации после 15 апреля – 38 000 рублей.
В стоимость летней школы входит обучение, обед, два кофе-брейка, раздаточные материалы. В стоимость летней школы НЕ входят расходы на проживание. Оплата производится только после подтверждения от организационного комитета о том, что вы можете участвовать в выбранном вами треке. Для того чтобы подать заявку на летнюю школу, необходимо заполнить форму. Прием заявок завершается 30 мая 2019 года.
Место проведения
Летняя школа будет проводиться в одном из зданий Высшей школы экономики в историческом центре Москвы.
Размещение
Вы можете выбрать место для проживания из списка , в котором представлены рекомендованные нами отели, находящиеся недалеко от места проведения летней школы.
Контакты
Руководитель летней школы – Карданова Елена Юрьевна, директор «Центра мониторинга качества образования» и научный руководитель магистерской программы «Измерения в психологии и образовании» Института образования НИУ ВШЭ.
Вы можете посмотреть, как проходила наша летняя школа в 2018 году.
Организационный комитет летней школы с радостью ответит на все ваши вопросы по организации и проведению:
Брун Ирина (email: ibrun@hse.ru) (общая информация по летней школе и информация по первому треку).
Ирина Угланова (email:iuglanova@hse.ru) (информация по второму треку).
Дмитрий Холявин (email:dkholyavin@hse.ru) (информация по третьему треку).