Надежный тест — это целая наука. Где и как готовят психометриков

Как измерить креативность и критическое мышление — навыки, которые требуются от современного человека? Разрабатывать тесты для измерения подобных «нематериальных» вещей будут уметь выпускники программы «Измерения в психологии и образовании». О том, чему еще учат на программе, рассказывает ее академический руководитель Елена Карданова.

 

Елена Карданова

Специалист по измерениям

Наша магистерская программа — единственная в России магистерская программа, готовящая психометриков и специалистов по измерениям в области психологии и образования.

Мы готовим специалистов, которые владеют необходимой теорией и инструментарием для разработки, апробации, проведения и обработки результатов различных измерений.

Наш выпускник — это человек, который, знает, во-первых, как разработать инструмент тестирования, во-вторых, как оценить его качество, надежность и валидность и решить множество специфических проблем — например, установить пороговые значения, которые отделяют тех, кто сдал экзамен, от тех, кто не сдал, или проверить функционирование шкалы Ликерта в разрабатываемом опроснике, или установить возможность межстрановых сравнений при адаптации инструмента в другой стране и культуре. Все это задачи, решаемые психометрическими методами. И, в-третьих, наш выпускник умеет работать с данными, полученными в результате измерений, анализировать их с помощью математической статистики, включая нетривиальные методы — такие, как структурное моделирование, многомерный регрессионный анализ и др.

Каждое из этих умений может применяться в трех сферах: образование, психология и HR. Они не выделены как специализации, но по опыту прошлых выпусков каждый студент в конечном итоге склоняется к одному из них.

В нашей стране культура грамотного тестирования и оценивания только зарождается

Сейчас тестология и психометрика активно развиваются во всем мире. Причины этого в том, что растет необходимость в проведении массовых процедур тестирования, повышается интерес не только к оцениванию учебных достижений, но и к измерению прогресса в обучении, а от измерения учебных достижений по отдельным предметам мы переходим к так называемым базовым компетенциям, универсальным по отношению к любым предметным областям (например, критическое мышление, креативность, информационная грамотность и т.д.).

В нашей стране культура грамотного тестирования и оценивания только зарождается . Несмотря на то что в советской и российской психологии разработано множество авторских методик и тестов, по большинству из них не публикуются сведения о надежности и валидностии, и они держатся на авторитете их разработчиков. Схожая ситуация наблюдается и в образовании, где также не сформирована культура создания и использования измерительных процедур.

В 2010 году, когда наша программа создавалась, она должна была заполнить пробел — почти полное отсутствие специалистов, умеющих разрабатывать инструменты измерений как в психологии, так и в образовании, а также вести исследования в области социальных наук, которые базировались бы на эмпирическом анализе данных.

Сейчас, на мой взгляд, ситуация сильно изменилась, необходимость использовать эмпирические данные и соответствующий статистический анализ в социальных науках — это данность, которую мало кто уже оспаривает. В Вышке возникают магистерские программы, ориентированные на статистические исследования. Мы хотим сохранить свою нишу — подготовку не только в области статистики, но и в области тест-девелопмента (разработки тестов) и психометрики (их проверки и валидизации).

Мы даем студентам возможность понять всю цепочку: как построить исследование, какой у него должен быть дизайн, какие инструменты должны быть, как их разработать, как провести исследование, как обработать данные и как интерпретировать результат.

Особенность программы — в сочетании этих частей, поэтому она привлекательна как для тех, кто хочет заниматься разработкой тестов, так и для тех, кто увлечен статистикой.

Современные вызовы

Сильная сторона программы — это прикладной аспект, мы объясняем, какие методы сегодня используются в мире измерения социальных и психологических процессов и конструктов, показываем, как их можно применять с помощью специального программного обеспечения.

Например, сейчас на повестке дня стоит разработка инструментов оценивания навыков XXI века (то, что у нас в государственных стандартах называется «метакогнитивные навыки» или личностные результаты обучения). Но какими инструментами померить такие конструкты, как критическое мышление, креативность, коммуникативные способности и склонность сотрудничеству? Их изучение лежит на стыке образования и психологии, но психологи не знают, как эти конструкты померить, а педагоги не знают, как их операционализировать. Здесь нужны специалисты, обладающие и теми, и другими компетенциями, которые и дает наша программа.

Исследования, большие проекты

В Институте образования ВШЭ есть много исследовательских центров и лабораторий, в проектах которых участвуют студенты нашей программы. Они включаются в реальную научно-исследовательскую работу с первых дней обучения на магистерской программе (и эта работа оплачивается).

Например, мы (Центр мониторинга качества образования) активно привлекаем магистрантов к проекту iPIPS — исследованию первоклассников, которое проводится совместно с университетом Дарема из Великобритании. Оно предполагает стартовую диагностику ребенка при поступлении в школу, и измерение индивидуального прогресса, который ребенок достиг за первый год обучения в школе. На старте оценивается когнитивное развитие ребенка — базовые навыки в чтении, математике, словарный запас и фонологическая грамотность. И если мы хотим оценить ребенка по этим четырем параметрам, получить несмещенные оценки, мы должны использовать сложные многомерные математические модели, позволяющие исследовать эти конструкты во взаимосвязи друг с другом. Также мы изучаем социальное и личностное развитие детей: собираем контекстную информацию о семье, о домашней среде, в которой ребенок растет и развивается.

В известном анекдоте, когда все животные должны были разделиться на умных и красивых, была применена именно ипсативная методология

Еще одно крупное международное исследование (ISHEL), которое мы проводим совместно с университетом Синь Хуа из Китая и с Стэнфордским университетом, посвящено оценке влияния институциональных характеристик на качество инженерного образования, мы пытаемся понять, какие факторы влияют на него в странах БРИК. Мы оцениваем качество подготовки студентов по базовым и фундаментальным дисциплинам, которые входят в федеральный государственный стандарт (математика, физика, информатика) у студентов первого и третьего курса, а затем — итоговые знания студентов по окончанию бакалавриата. Что важно, наша цель — не только оценить знания, но и прогресс студента и вклад вуза в этот прогресс. Осенью 2015 года прошла первая волна исследования, в ходе которой наши студенты выезжали в 20 регионов и проводили тестирование студентов и анкетирование преподавателей. В настоящее время мы готовимся ко второй волне осенью 2016 года, которая позволит измерить то, что произошло со студентами за год, параллельно обрабатываем информацию.

 

Денис Федерякин, стажер-исследователь Центра мониторинга качества образования

Я с отличием окончил психолого-педагогический факультет Смоленского государственного университета по специальности «Педагог-психолог». Темой психометрического анализа заинтересовался еще на курсах психодиагностики и методологии исследования. По моему мнению, самое главное, что нужно вынести с такого рода курсов — это понимание ограничений социальных исследований. Отсюда и вырос мой интерес к проблематике измерений в общественных науках. Мне было любопытно узнать, каким образом конструируются психологические тесты и что скрывается за итоговыми баллами.

Я ждал от программы подробного раскрытия именно этих тем, и мои ожидания оправдались. Что еще для меня ценно, это то, что здесь, во-первых, формируют понимание того, что результаты любого исследования следует распространять с определенной осторожностью, а, во-вторых, знакомят с передовыми методами обработки психологически нагруженных данных.

Например, я изучаю дифференцированное функционирование заданий (Differential Item Functioning) — это феномен, возникающий, когда различные группы респондентов, проходящих тест, имеют различную вероятность правильно ответить на один и тот же вопрос в тесте при том, что уровень измеряемой способности у них одинаков. Есть простой пример: в тесте на определение математических способностей есть задание рассчитать количество сливочного масла, необходимого для приготовления торта с определенными пропорциями. Дифференцированное функционирование заданий проявляется в том, что девочки имеют более высокий шанс правильно ответить на такой вопрос, чем мальчики, при одинаковом уровне арифметических способностей, т.е. такой вопрос дискриминирует мальчиков. А если бы вопрос был про количество топлива, которое сжигают двигатели ракет различной мощности, то вероятность правильно ответить была бы ниже у девочек, и тогда вопрос дискриминировал бы их. Эта проблематика стала активно разрабатываться только во второй половине двадцатого века, и многим статистическим методам, применяемым для выявления этого феномена, нет и тридцати лет.

 

Катя Брагинец, стажер-исследователь Центра мониторинга качества образования

Сейчас в нашем центре очень бодрый период, я недавно вернулась из командировки в Севастополь, где интервьюировала учителей первых классов в рамках проекта IPIPS. По этим же данным пишу курсовую о связи факторов образовательной среды с прогрессом учеников первого класса, много делаю технической работы — готовлю анкеты, чищу базы данных. Когда я училась в специалитете, я себе представить не могла, что буду участвовать в проекте с таким количеством респондентов — 12 тысяч первоклассников. Еще один проект, к которому меня привлекали — SAM (School Achievement’s Monitoring) — разработан в русле идей Льва Семеновича Выготского. Он позволяет оценить знания школьников по различным предметам с точки зрения качества усвоенного материала. Я первый раз сталкиваюсь с хорошим, надежным и валидным инструментом, который был бы полностью основан на российском психологическом подходе, мне кажется это интересным опытом.

По первому образованию я специальный психолог, закончила Московский городской психолого-педагогический университет и после магистратуры планирую поступать в академическую аспирантуру Вышки и продолжать заниматься проблемами детей с особыми потребностями. Мне интересна ранняя интервенция — ранняя диагностика и коррекция критически важны для качества развития детей с особыми образовательными потребностями, для возможности их социализации. В России много практиков, знающих, как работать с этими детьми, и мне дали хорошие знания, которые можно применить к конкретному ребенку. Но, к сожалению, у нас очень мало работ, которые были бы посвящены общему обзору ситуации в специальном образовании в России, нет понимания, как изменить работу всей системы.

 

Артур Аммалайненен, победитель кейс-чемпионата по измерениям в психологии и образовании 2016 года

Я оканчиваю четвертый курс Ленинградского государственного университета им. А.С. Пушкина. Почему мне интересна Вышка? Ее самая привлекательная черта для меня в том, что здесь все время что-то меняется в соответствии с требованиями современного мира.

С магистерской программой «Измерения в психологии и образовании» я познакомился в этом году на зимней школе ВШЭ, куда поехал для подготовки к олимпиаде по когнитивным наукам. Как психологу, сфера исследований которого связана с образованием, мне интересно все, чем занимаются на программе, но прежде всего — разработка реальных методик оценки различных психических качеств — то, чего, на мой взгляд, не хватает отечественной психологии. Мы пользуемся тем, что уже давно устарело, будь то российские или зарубежные разработки, а мне хотелось бы заниматься разработкой нового. Конкретно меня интересует способы развития и изучения креативности. Я сейчас пишу диплом о том, как развивается креативность в детском возрасте, какие у нее есть особенности, как поддерживать ее развитие, а также каким образом можно ее оценивать, так как, к сожалению, на данный момент адекватных качественных методик нет.

О кейс-чемпионате, победитель которого получает значительное количество дополнительных баллов к портфолио, я узнал также на Зимней школе и решил, что приеду и попробую себя. Я скорее хотел посмотреть на людей, чем думал о победе, поэтому вдвойне рад тому, что стал победителем.

В целом я получил огромное удовольствие от взаимодействия с участниками и организаторами и некоторый мировоззренческий шок от того, как может быть устроено обучение и научная работа. Желание поступать на программу увеличилось в разы.

 

Юрий Шатров, студент программы «Измерения в психологии и образовании»

По своей базовой подготовке я психолог-консультант (окончил МГППУ). Но сразу после окончания специалитета я пошёл в оценку персонала (ЭКОПСИ консалтинг), в практику разработки психологических тестов.

Поработав год и более-менее освоив классическую теорию тестирования, я, во-первых, ощутил нехватку фундаментального образования в психометрике, и во-вторых, отсутствие экспертизы в продвинутых методах анализа тестов. И вот я здесь — на программе.

В нашей компании мы разрабатываем и валидизируем различные оценочные инструменты: психологические тесты, центры оценки, симуляции. Я отвечаю за развитие теста PIF — комплексного инструмента, прогнозирующего профессиональную эффективность сотрудника в новой деятельности.

В сферу моих научных интересов входит, несколько вещей assessment.livejournal.ru. Во-первых, это личностные черты, прогнозирующие профессиональную эффективность. Личность, в отличие от других часто измеряемых в бизнесе критериев — интеллекта и навыков — связана с некой тайной, если не романтикой. Меня занимает её изучение.

В известном анекдоте, когда все животные должны были разделиться на умных и красивых, была применена именно ипсативная методология

Во-вторых, ипсативные личностные опросники — это такие опросники, в рамках которых вас просят сравнить два и более качества. В известном анекдоте, когда все животные должны были разделиться на умных и красивых, была применена именно ипсативная методология. Чем этот метод интересен — он позволяет избежать обмана в ответах на вопросы тесты. Ведь, если мы спросим человека, насколько он умён по пятибалльной шкале, да ещё в контексте приёма на работу или повышения, то в результате получим отнюдь не нормальное распределение. И ценность такого вопроса будет практически нулевая.

И третий интересующий меня инструмент — кейс-тесты (Situational Judgement Test). Это такие тесты, в рамках которых вам даётся ситуация и 3 и более закрытых вариантов действия в ней. Данный инструмент находится на стыке бизнеса и психологии, так как задаются вполне конкретные бизнес-ситуации, но измеряют они в том числе базовые поведенческие установки.