Центр психометрики и измерений в образовании

 

Психометрические исследования — это методы измерения и оценки различных характеристик людей, включая психологические особенности, знания, компетенции, навыки и т.д., с использованием статистических методов.

 

Создаем и адаптируем

инструменты для образовательного и психологического оценивания детей и взрослых, измерения навыков 21 века, социально-эмоциональных навыков и других сложных конструктов

Разрабатываем

статистические модели и модели машинного обучения для анализа цифрового следа, автоматического скоринга заданий открытого типа и эссе, автоматической генерации заданий тестов и других целей

Изучаем

новые конструкты — многосоставные латентные характеристики детей и взрослых — их определения, индикаторы и способы измерения, актуальные для современного образования

Проводим

мониторинги образовательных результатов, тестирования социально-эмоциональных навыков и другие оценивания для организаций образования разного уровня

Тематическая карта наших исследований

  • Способы измерения психологических и образовательных конструктов: социально-эмоциональных и «мягких» навыков, метапредметных и предметных образовательных результатов, универсальных компетентностей и когнитивных способностей

  • Определения и индикаторы психологических и образовательных конструктов с аргументацией, почему по этим индикаторам можно сделать вывод об этих конструктах

  • Создание и систематизация существующих статистических моделей и моделей машинного обучения для автоматизированных измерений, анализ цифровых следов для автоматизации и ускорения оценивания

Направления экспертизы и консалтинга

 

Валидные инструменты измерения

Для образовательных и коммерческих организаций; проверяем на соответствие с российскими и международными психометрическими стандартами, даем рекомендации по улучшению качества

 

Индивидуальный образо­ва­тельный прогресс учащихся на уровне школ и регионов

По предметным и метапредметным образовательным результатам; на уровне университетов по профессиональным и универсальным компетенциям

 

Обучение методистов и аналитиков

По различных аспектам измерений в сфере образования на основе разработанных авторских программ дополнительного профессионального образования

Узнать подробно про проведение экспертизы нашим Центром

Наши инструменты измерения для современного образования

СТАРТ-ПРОГРЕСС

Линейка инструментов для измерения индивидуального прогресса по базовым грамотностям (читательской, языковой и математической) и предметным образовательным результатам в начальной и основной школе

4К-тест

Измерение мета­предметных результатов образования (Критическое мышление, Креативность, Коммуникация, Кооперация) учащихся начальной и основной школы

IC Literacy Test

Измерение информационно-коммуникационной компетентности учащихся 9 классов

DIGLIT: Измерение цифровой гра­мот­ности учащихся основной школы 

Линейка инструментов для оценивания социально-эмоциональных навыков, мотивации и субъективного благополучия учащихся начальной и основной школы 

 

Оценивание в начальной школе

Тест читательской грамотности

Создан инструмент на основе методов IRT для оценки грамотности чтения учеников 2-3 классов. Он проверяет уровень понимания художественных и информационных текстов, используя единую шкалу и систему пороговых баллов. Кроме того, инструмент оценивает эффективность стратегий чтения и позволяет отслеживать прогресс учеников.

По заказу Учи.ру

Тест языковой грамотности

Спроектирован интерактивный формат заданий для отслеживания динамики развития языковой грамотности учащихся 3-5 классов. С помощью инструмента ученики могут находить и исправлять ошибки в тексте через специальный браузер, похожий на текстовый редактор. Эта методика создает ситуацию, приближенную к реальной, и помогает эффективно контролировать прогресс в обучении грамотному письму.

По заказу Сбера

Тест критического мышления, креативности, коммуникации и кооперации

Разработан метод диагностики мягких навыков для учеников 4-7 классов. Эти навыки являются важными для успешной адаптации в современном мире. Инструмент позволяет выбрать, какие навыки измерять — один, несколько или все четыре. 4К-тест определяет исходный уровень навыков и позволяет измерить прогресс в их развитии.

По заказу Учи.ру

Оценивание в средней и старшей школе

Мониторинг индивидуального прогресса

Разработан инструмент мониторинга предметных знаний для отслеживания прогресса учащихся 5-11 классов в соответствии с ФГОС. Тестирование проводится несколько раз в год в компьютерном формате, а все задания проверяются автоматически для обеспечения объективности и ускорения проверки. Инструмент успешно опробован на практике, а его качество подтверждено независимой экспертизой.

По заказу НИУ ВШЭ

Мониторинг информационно-коммуникационной компетентности

Проведена оценка уровня информационно-коммуникационной (ИК) компетентности выпускников основной школы. В мониторинговом исследовании приняли участие свыше 30 000 учащихся 9-х классов из 21 субъекта РФ, свыше 12 000 учителей и более 1100 администраторов школ. Целью исследования было определение готовности выпускников основной школы к жизни в информационном обществе и выявление факторов, влияющих на формирование ИК-компетентности в регионах РФ.

По заказу ФГАУ «Фонд новых форм развития образования»

Диагностика городской грамотности

Проведена комплексная оценка готовности учеников 6 и 10 классов к жизни в мегаполисе. Тестирование включало в себя такие аспекты, как мобильность в городе, локальная грамотность, здоровый образ жизни, применение цифровых технологий, про-социальная вовлеченность и межкультурное взаимодействие.

По заказу Департамента образования Москвы

Вступительное тестирование для проекта «Медиакласс в московской школе»

Специально для выпускников девятых классов, претендующих на обучение в медиаклассах, было подготовлено пять вариантов отборочных тестов. Они направлены на проверку языковой и информационной грамотности в контексте современных медиа. Каждый вариант теста основан на теоретической модели, которая может использоваться для оценивания схожих конструктов.

По заказу Департамента образования Москвы

Разработка концептуальной модели исследования цифровой грамотности и апробация тестовых заданий для оценки уровня цифровой грамотности учащихся 7-го класса

Разработан инструмент измерения цифровой грамотности на основе интерактивных заданий сценарного типа. Контекст заданий позволяет погрузить учащихся в привычную среду и предложить реалистичные задачи из школьной или повседневной жизни. На базе инструмента прошли тестирования более 4 000 учащихся 7 и 8 классов московских школ. С демо версией заданий можно познакомится по ссылке.

По заказу Департамента образования Москвы

Карьерно-образовательная навигация в социально-экономическом и институциональном контексте Экспертиза батареи тестов для профориентации школьников, предложены рекомендации по улучшению и архитектура диагностического комплекса.

По заказу Фонда «Билет в будущее»

Оценивание в организациях среднего специального и высшего профессионального образования

Модели формирования и оценки общих компетенций выпускников СПО

Деятельностные задания и рубрики оценивания для диагностики уровня развития универсальных компетенций у студентов средне-профессионального образования для их подготовки к трудоустройству в условиях меняющегося рынка.

По заказу Министерства просвещения РФ

Тест экономической грамотности

Построена система заданий для оценки экономической грамотности студентов, включающая формирующую обратную связь. Инструмент осноРаван на моделях когнитивной диагностики и включает конкретные сценарии, которые оценивают экономическое мышление и знание студентов. Тест не только проверяет результаты, но и анализирует процесс принятия решений.

По заказу НИУ ВШЭ

Тест правовой грамотности

Сценарный инструмент для студентов вузов, основанный на решении кейсов, приближенных к жизненным ситуациям, с автоматической проверкой результатов. Примеры ситуаций включают оценку работодателя на основе трудового договора, выбор юриста и другое

По заказу НИУ ВШЭ

Тестологическая экспертиза инструментов измерения для олимпиады «Я — профессионал»

Поддержка разработчиков тестов для олимпиады, включая создание обучающих документов и спецификации для тестов. Эксперты анализировали спецификации, проверяли формулировки тестов и проводили психометрический анализ результатов. Предложены коррективы для работы над проектом в следующем году.

По заказу организационного комитета олимпиады «Я — профессионал»

Оценивание навыков взрослых

Диагностический инструмент мотивации сотрудников организаций

Ипсативный диагностический инструмент для оценки факторов мотивации и демотивации к работе с применением методов IRT.

По заказу АНО «Россия — страна возможностей»

Методология создания инструментов измерения компетенций цифровой экономики

Предложены методы и процедуры разработки инструментов для измерения цифровых компетенций и ключевых навыков, необходимых для независимой оценки компетенций в цифровой экономике (НОК ЦЭ). Сформулированы требования к качеству инструментов и разработаны процедуры сертификации инструментов для измерения цифровых компетенций и ключевых навыков в рамках НОК ЦЭ.

По заказу АНО «Университет Национальной Технологической Инициативы 2035»

Пилотное тестирование инструмента оценки цифровой грамотности

Разработан инструмент для оценки уровня цифровой грамотности взрослых трудоспособных людей, который обеспечивает автоматическую обратную связь. Он основан на сценарных заданиях, созданных для проверки компетенций в области цифровой экономики. Инструмент демонстрирует высокую валидность и надежность результатов измерения и может быть использован в Национальной образовательной квалификационной сети в области цифровых компетенций.

По заказу АНО «Университет Национальной Технологической Инициативы 2035»

Исследование факторов формирования и развития ключевых цифровых компетенций

Проведен анализ международных и российских исследований по оценке цифровых компетенций, а также собственное исследование с использованием современных инструментов оценивания цифровых компетенций, включающих аутентичные задания сценарного типа и автоматическую обработку результатов. Выявлены статистически значимые факторы, влияющие на формирование и развитие базовых цифровых компетенций выбранных целевых групп — учащихся и взрослого трудоспособного населения.

По заказу НИУ ВШЭ

Оценка критическое мышление в свободной онлайн-среде

Разработан инструмент мониторинга, который позволяет оценить уровень критического мышления у взрослых. Респондентам предлагается выработать свою позицию на основе аргументов, найденных ими самостоятельно в онлайн-среде. Оценка происходит автоматически при помощи технологии машинного обучения, которая начисляет баллы. Этот тест может быть полезен при наборе персонала, а также для оценки уровня развития критического мышления студентов

По заказу НИУ ВШЭ

Наши исследовательские проекты

Центр междисциплинарных исследований человеческого потенциала

Теоретико-концептуальные модели и инструменты валидного и надежного измерения ключевых навыков и компетенций в современном мире. Проведение нейрокогнитивных исследований для образовательных практик и аналитика результатов оценивания.

Грант Министерства науки и высшего образования РФ № 075-15-2020-928

Использование контекстной информации и информации из цифровой среды оценивания при измерении индиви­ду­ального прогресса учащихся начальной школы с помощью цифровых технологий

Методология использования времени ответа, журнала логов и других цифровых следов для повышения достоверности и улучшения обратной связи по результатам оценивания школьников и студентов.

Изучение динамики гетероген­ности учащихся в начальной школе: отслеживание движения учащихся от групп риска до групп лидеров

На российских данных широко­мас­штабных лонгитюдных монито­ринговых иссле­дований в начальной школе оцениваем прогресс учащихся на индивидуальном и на групповом уровнях, отслеживаем устойчивость групп, возможную миграцию учащихся по группам, статистически значимо связанные с этим контекстные и личностные факторы.

Грант Центра фундаментальных исследований НИУ ВШЭ

Автоматизация заданий и проверки открытых ответов с использованием машинного обучения

Предложены модели машинного обучения для автоматизации разработки и проверки заданий по русскому языку и читательской грамотности школьного уровня. Результаты проекта позволяют снизить затраты на создание уникальных и вариативных заданий, а также внедрить систему ав-томатической проверки открытых ответов в образовательное тестирование.

Грант Центра искусственного интеллекта НИУ ВШЭ

Исследование возрастных особенностей и психолого-педагогических условий формирования и развития критического мышления

Выявлены и систематизированы психолого-педагогические условия, которые способствуют формированию критического мышления, учитывая возрастные особенности и социальную ситуацию развития учеников.

Грант Центра фундаментальных исследований НИУ ВШЭ

Образовательные программы и мероприятия с участием экспертов центра

Дополнительное образование

 

Программы дополнительного профессионального образования

Базовые навыки психометрического анализа и разработки тестов, а также продвинутые инструменты измерения в образовании, психологии и других социальных науках

 

Международная летняя школа «Прикладная психометрика в психологии и образовании»

Объединяет исследователей и практиков оценивания для изучения актуальных теоретических и практических тенденций, а также создания профессиональных связей

Семинары

Междисциплинарный семинар «Нейронауки об образовании»

Целью является формирование новой научной области, направленной на использование фактов фундаментальной науки для улучшения образования.

Каждые три недели, гибридный формат

Подробнее

Семинар сотрудников Центра психометрики и измерений в образовании

Для исследователей в социальных науках по вопросам методов измерения в образовании и психологии. Участниками семинара являются сотрудники Центра и приглашенные эксперты.

Подробнее

Международный научный семинар (вебинар) «Измерения и анализ данных в психологии и образовании»

Организован в партнерстве с Московским государственным психолого-педагогическим университетом. Здесь обсуждаем вопросы измерений в психологии и образовании, исследования в соответствии с доказательным подходом, а также анализ больших данных в образовании.

Подробнее

Специализированные подразделения в структуре Центра

 

Памяти Марка Зелмана

1961–2022

Марк Зелман был одним из ведущих мировых специалистов в области оценки и мониторинга качества образования. Он участвовал в создании множества тестов для разных стран, включая Graduate Record Examination (GRE), Graduate Management Admission Test (GMAT), Prueba de Admisión para Estudios Graduados (PAEG), the Praxis Series, NAEP и SAT I. Марк был экспертом в области оценивания в крупнейших компаниях, таких как Educational Testing Service (ETS), USAID, British Council, IADB, American Councils и Всемирный банк, а также был руководителем многих экспертных групп. Он свободно говорил на шести языках. Для нас Марк является большой потерей: все эти годы он оставался другом, партнером и консультантом Центра психометрики и измерений в образовании, выступал на наших летних школах, преподавал на наших образовательных программах и помогал нам в разработке российских инструментов. 

Команда Центра

Наши специалисты стажировались в крупнейших мировых психометрических центрах: CITO, Бостон-колледжа, Массачусетского университета, Университета Дарема, Университета Беркли, Университета Иллинойса в Чикаго.

Контактное лицо: Ксения Вадимовна Тарасова
E-mail: ktarasova@hse.ru

Руководители

Болотов Виктор Александрович

Научный руководитель

Карданова Елена Юрьевна

Научный руководитель

Иванова Алина Евгеньевна

Заместитель директора центра, старший научный сотрудник

Тарасов Сергей Владимирович

Заместитель директора центра, стажер-исследователь

Авдеева Светлана Михайловна

Заведующая лабораторией

Антипкина Инна Вениаминовна

Заведующая проектно-учебной лабораторией, научный сотрудник

Сотрудники

Александрова Екатерина Ильинична

Аналитик

Бакай Екатерина Анатольевна

Стажер-исследователь

Беляева Анастасия Юрьевна

Аспирант, стажер-исследователь

Грачева Дарья Александровна

Младший научный сотрудник

Канонир Татьяна

Старший научный сотрудник

Павлова Екатерина Сергеевна

Стажер-исследователь

Павлова Мария Константиновна

Стажер-исследователь

Петракова Анастасия Владимировна

Научный сотрудник

Попова Анна Валерьевна

Аспирант, стажер-исследователь

Самодерженков Андрей Николаевич

Аналитик

Сергеева Марина Владимировна

Аналитик

Талов Даниил Павлович

Стажер-исследователь

Юсупова Элен Магомедовна

Научный сотрудник

Подписка на анонсы центра

Публикации

  • Все о российских предуниверсариях: география, условия проживания, управление, направления обучения

     

    В выпуске представлены результаты исследовательского проекта, объектом которого стали школы, являющиеся структурными подразделениями ведущих российских университетов, а его предметом — своеобразие моделей школ этого вида: их география, организационная структура и специфика управления, направления подготовки, особенности формирования контингента и преподавательского состава, условия обучения старшеклассников. В результате анализа отечественных и зарубежных работ по данной теме, проведения количественного и качественного исследования авторы сформулировали общие характеристики образовательных организаций, которые ориентированы на обучение старшеклассников, имеющих мотивацию и ресурс для продолжения образования в высокоселективных российских университетах, определив их, таким образом, как самостоятельный вид старших школ. Исходя из описания моделей школ этого вида по авторской методике предложены основания для кластеризации предуниверсариев и рассмотрен каждый из них. В сборнике приведены рекомендации руководителям организаций высшего и среднего образования, которые уже имеют или намереваются открыть предуниверсарии. Материалы могут быть использованы при разработке моделей таких школ, реализации их образовательных программ, а также для системы повышения квалификации управленцев в сфере общего и высшего образования.

    М.: НИУ ВШЭ, Институт образования, 2024.

  • ПОДХОДЫ К ОЦЕНКЕ СЛОЖНОСТИ ЗАДАНИЙ ПРИ ДИАГНОСТИКЕ ЧИТАТЕЛЬСКОЙ ГРАМОТНОСТИ МЛАДШИХ ШКОЛЬНИКОВ

    В статье рассматриваются факторы сложности заданий, оценивающих читательские умения учащихся начальной школы. Как основные факторы определены следующие: объем формулировки задания; объем текста, к которому необходимо обратиться для верного ответа, и вид связи формулировки задания с фрагментом тек ста, к которому это задание обращено; языковые особенности текста и задания; формат задания; когнитивные операции, которые необходимы для выполнения задания; влияние внетекстовых (фоновых) знаний. В статье обосновывается возможность экспертной прогностической оценки сложности заданий с учетом факторов, которые либо облегчают, либо усложняют задание, оценивающее то или иное читательское умение. Предлагаемые факторы сложности проверены с помощью их соотнесения с психометрической трудностью заданий, включенных в диагностические тесты на основе информационных и художественных текстов. В статье предложены приемы учета в образовательном процессе предполагаемой сложности заданий, развиваю щих читательские умения младших школьников, что позволит педагогам более эффективно обеспечивать каждому ученику положительную динамику овладения читательской грамотностью

    Отечественная и зарубежная педагогика. 2024. № 6. С. 25-47.

  • Глава в книге

    Струкова А. С.

    Как существующая научная литература может быть использована для разработки практик поддержания благополучия в школе? (на основе систематического литературного обзора)

    Благополучие учеников — один из показателей качества школьного образования, однако границы этого понятия остаются весьма размытыми. В статье приведен анализ 50 наиболее цитируемых публикаций по теме благополучия школьников и сделан вывод о том, что среди особенно часто упоминаемых характеристик благополучия — индивидуально-психологические показатели и индикаторы качества отношений. Кроме этого, под благополучием понимают состояние ментального и физического здоровья, качество учебного процесса, объективные социально-экономические показатели.

    В кн.: Подросток в мегаполисе: Сборник трудов XVII Международной научно-практической конференции 9–10 апреля 2024 года. М.: Национальный исследовательский университет "Высшая школа экономики", 2024.

  • Препринт

    Kardanova E., Ivanova A., Tarasova K. et al.

    A Novel Psychometrics-Based Approach to Developing Professional Competency Benchmark for Large Language Models

    The era of large language models (LLM) raises questions not only about how to train models, but also about how to evaluate them. Despite numerous existing benchmarks, insufficient attention is often given to creating assessments that test LLMs in a valid and reliable manner. To address this challenge, we accommodate the Evidence-centered design (ECD) methodology and propose a comprehensive approach to benchmark development based on rigorous psychometric principles. In this paper, we have made the first attempt to illustrate this approach by creating a new benchmark in the field of pedagogy and education, highlighting the limitations of existing benchmark development approach and taking into account the development of LLMs. We conclude that a new approach to benchmarking is required to match the growing complexity of AI applications in the educational context. We construct a novel benchmark guided by the Bloom's taxonomy and rigorously designed by a consortium of education experts trained in test development. Thus the current benchmark provides an academically robust and practical assessment tool tailored for LLMs, rather than human participants. Tested empirically on the GPT model in the Russian language, it evaluates model performance across varied task complexities, revealing critical gaps in current LLM capabilities. Our results indicate that while generative AI tools hold significant promise for education - potentially supporting tasks such as personalized tutoring, real-time feedback, and multilingual learning - their reliability as autonomous teachers' assistants right now remain rather limited, particularly in tasks requiring deeper cognitive engagement.

    Computation and Language (cs.CL); Artificial Intelligence (cs.AI). cs.CL. arXiv, 2024

Все публикации