Опросники — как хорошее вино

Летняя школа на неделю сделала Москву мировой столицей психометрики.

В Институте образования НИУ ВШЭ завершилась летняя школа «Прикладная психометрика в образовании и психологии» (Applied Psychometrics in Education and Psychology ) – последняя из летних школ Инобра 2019 года. Сезон закончился на «ударной ноте»: школа собрала крупнейших мировых ученых-психометриков и оказалась наиболее представительной. 51 участник из 12 стран, включая ЕС, США, Мексику, Китай, три параллельных тематических трека... Для участников это была возможность обсудить собственные проекты с самыми авторитетными исследователями в области измерений, познакомиться с лучшими практиками коллег и расширить академические контакты.

В этом отношении особенно важно то, насколько масштабно был представлен Институт образования: от него отбор прошли 23 человека, в том числе 9 аспирантов. Участие в мероприятиях такого масштаба – еще одна гарантия того, что качество и стандарты российских исследований продолжат расти. Институтский Центр психометрики и измерений в образовании является одной из мировых «точек роста» психометрики.

В этом году московская летняя школа окончательно укрепила свою репутацию международного события по передаче продвинутых исследовательских методов от лучших экспертов к самым мотивированным участникам. Школа очень серьезно работает на рост нашего собственного потенциала

Фрумин Исак Давидович
Научный руководитель Института образования

Трек # 1: «Базовые» знания оказались не базовыми

Трек, руководителями которого выступили профессора Университета Толедо (Огайо) Кристина Фокс и Светлана Бельтюкова, был заявлен как «базовый» – для тех, кто только начинает анализировать данные. Он был посвящен анализу результатов тестов с помощью моделей Раша: преподаватели, приехавшие из США, считаются ведущими мировыми специалистами в области Раш-моделирования, в частности, Кристина Фокс – соавтор одной из базовых книг, необходимых для понимания этой методологии.

Однако даже те слушатели школы, которые уже имели некоторый опыт работы в этой области, смогли значительно расширить свои знания. Курс строился по принципу последовательного усложнения, каждый день охватывая все более сложные концептуальные и практические вопросы. Слушатели смогли освоить гораздо более широкий «ассортимент» конкретных методов анализа данных, чем предполагал «базовый» формат, и научиться глубоко вникать в процесс функционирования теста.

Трек # 2: Лонгитюды как путешествие во времени

Второй трек был посвящен работе с лонгитюдными данными, моделями роста и «вертикальным выравниванием». Модели роста помогают понять, как изменялась характеристика человека с течением времени, а также позволяют одновременно сравнить тот или иной признак среди разных людей – отследить, как различается для них этот процесс изменения, и почему.

Профессор Теодор Уоллс (Университет Род-Айленд, США) удивил слушателей парадоксальными выводами о том, что «чем больше что-либо меняется, тем больше оно остается прежним», и «время не влияет ни на что само по себе: сам факт течения времени не объясняет, почему меняются те или иные характеристики личности, значит, нужно искать настоящие причины». Теодор Уоллс известен разработками новых психометрических моделей, а с его работами, посвященными моделям роста и лонгитюдным исследованиям, можно ознакомиться здесь.

Вертикальное выравнивание – метод, который позволяет сравнить результаты тестирования разных возрастных групп, например, если речь идет о третьеклассниках и учениках пятого класса. Понятно, что тесты для разных классов различаются по степени сложности, и чтобы «положить их результаты на одну шкалу» и проанализировать, нужны специальные методы. О них рассказал профессор Гэри Кук (Висконсинский университет в Мадисоне).

Трек # 3: «Опросники, как и хорошее вино, не переносят долгих путешествий»

Профессор Университета Окленда (Новая Зеландия) и Университета Умеа (Швеция) Гэвин Браун рассказывал слушателям летней школы о конфирматорном факторном анализе – методике, которая позволяет проверять гипотезы или даже выбирать между «конкурирующими» гипотезами, описывающими структуру данных. Колоссальный опыт – Гэвин Браун руководил более чем 40 PhD-исследованиями, – позволил профессору рассказать о самых распространенных ошибках, которые делают аспиранты-психометрики.

Так, например, очень часто один и тот же опросник, показавший отличные характеристики на одной группе респондентов, совсем не работает на другой группе. Начинающие исследователи часто ошибаются, когда применяют в своем исследовании чужие опросники, не проверив их качество. «Опросники, как и хорошее вино, не переносят долгих путешествий, – пошутил профессор Браун, рассказывая о международных сравнительных исследованиях с применением одних и тех же инструментов.

Летняя школа психометриков работала в Москве в шестой раз. По словам ее руководителя Елены Кардановой, когда-то школа задумывалась для того, чтобы познакомить участников из России и стран СНГ с лучшими мировыми практиками. Сегодня школа расширяет свои задачи: ведущие ученые и самые амбициозные начинающие исследователи со всего мира встречаются в Москве, чтобы обменяться самым передовым опытом.