Центр психометрики и измерений в образовании

 

Психометрические исследования — это методы измерения и оценки различных характеристик людей, включая психологические особенности, знания, компетенции, навыки и т.д., с использованием статистических методов.

 

Создаем и адаптируем

инструменты для образовательного и психологического оценивания детей и взрослых, измерения навыков 21 века, социально-эмоциональных навыков и других сложных конструктов

Разрабатываем

статистические модели и модели машинного обучения для анализа цифрового следа, автоматического скоринга заданий открытого типа и эссе, автоматической генерации заданий тестов и других целей

Изучаем

новые конструкты — многосоставные латентные характеристики детей и взрослых — их определения, индикаторы и способы измерения, актуальные для современного образования

Проводим

мониторинги образовательных результатов, тестирования социально-эмоциональных навыков и другие оценивания для организаций образования разного уровня

Тематическая карта наших исследований

  • Способы измерения психологических и образовательных конструктов: социально-эмоциональных и «мягких» навыков, метапредметных и предметных образовательных результатов, универсальных компетентностей и когнитивных способностей

  • Определения и индикаторы психологических и образовательных конструктов с аргументацией, почему по этим индикаторам можно сделать вывод об этих конструктах

  • Создание и систематизация существующих статистических моделей и моделей машинного обучения для автоматизированных измерений, анализ цифровых следов для автоматизации и ускорения оценивания

Направления экспертизы и консалтинга

 

Валидные инструменты измерения

Для образовательных и коммерческих организаций; проверяем на соответствие с российскими и международными психометрическими стандартами, даем рекомендации по улучшению качества

 

Индивидуальный образо­ва­тельный прогресс учащихся на уровне школ и регионов

По предметным и метапредметным образовательным результатам; на уровне университетов по профессиональным и универсальным компетенциям

 

Обучение методистов и аналитиков

По различных аспектам измерений в сфере образования на основе разработанных авторских программ дополнительного профессионального образования

Наши инструменты измерения для современного образования

СТАРТ-ПРОГРЕСС

Линейка инструментов для измерения индивидуального прогресса по базовым грамотностям (читательской, языковой и математической) и предметным образовательным результатам в начальной и основной школе

4К-тест

Измерение мета­предметных результатов образования (Критическое мышление, Креативность, Коммуникация, Кооперация) учащихся начальной и основной школы

IC Literacy Test

Измерение информационно-коммуникационной компетентности учащихся 9 классов

DIGLIT: Измерение цифровой гра­мот­ности учащихся основной школы 

Линейка инструментов для оценивания социально-эмоциональных навыков, мотивации и субъективного благополучия учащихся начальной и основной школы 

 

Оценивание в начальной школе

Тест читательской грамотности

Создан инструмент на основе методов IRT для оценки грамотности чтения учеников 2-3 классов. Он проверяет уровень понимания художественных и информационных текстов, используя единую шкалу и систему пороговых баллов. Кроме того, инструмент оценивает эффективность стратегий чтения и позволяет отслеживать прогресс учеников.

По заказу Учи.ру

Тест языковой грамотности

Спроектирован интерактивный формат заданий для отслеживания динамики развития языковой грамотности учащихся 3-5 классов. С помощью инструмента ученики могут находить и исправлять ошибки в тексте через специальный браузер, похожий на текстовый редактор. Эта методика создает ситуацию, приближенную к реальной, и помогает эффективно контролировать прогресс в обучении грамотному письму.

По заказу Сбера

Тест критического мышления, креативности, коммуникации и кооперации

Разработан метод диагностики мягких навыков для учеников 4-7 классов. Эти навыки являются важными для успешной адаптации в современном мире. Инструмент позволяет выбрать, какие навыки измерять — один, несколько или все четыре. 4К-тест определяет исходный уровень навыков и позволяет измерить прогресс в их развитии.

По заказу Учи.ру

Оценивание в средней и старшей школе

Мониторинг индивидуального прогресса

Разработан инструмент мониторинга предметных знаний для отслеживания прогресса учащихся 5-11 классов в соответствии с ФГОС. Тестирование проводится несколько раз в год в компьютерном формате, а все задания проверяются автоматически для обеспечения объективности и ускорения проверки. Инструмент успешно опробован на практике, а его качество подтверждено независимой экспертизой.

По заказу НИУ ВШЭ

Мониторинг информационно-коммуникационной компетентности

Проведена оценка уровня информационно-коммуникационной (ИК) компетентности выпускников основной школы. В мониторинговом исследовании приняли участие свыше 30 000 учащихся 9-х классов из 21 субъекта РФ, свыше 12 000 учителей и более 1100 администраторов школ. Целью исследования было определение готовности выпускников основной школы к жизни в информационном обществе и выявление факторов, влияющих на формирование ИК-компетентности в регионах РФ.

По заказу ФГАУ «Фонд новых форм развития образования»

Диагностика городской грамотности

Проведена комплексная оценка готовности учеников 6 и 10 классов к жизни в мегаполисе. Тестирование включало в себя такие аспекты, как мобильность в городе, локальная грамотность, здоровый образ жизни, применение цифровых технологий, про-социальная вовлеченность и межкультурное взаимодействие.

По заказу Департамента образования Москвы

Вступительное тестирование для проекта «Медиакласс в московской школе»

Специально для выпускников девятых классов, претендующих на обучение в медиаклассах, было подготовлено пять вариантов отборочных тестов. Они направлены на проверку языковой и информационной грамотности в контексте современных медиа. Каждый вариант теста основан на теоретической модели, которая может использоваться для оценивания схожих конструктов.

По заказу Департамента образования Москвы

Разработка концептуальной модели исследования цифровой грамотности и апробация тестовых заданий для оценки уровня цифровой грамотности учащихся 7-го класса

Разработан инструмент измерения цифровой грамотности на основе интерактивных заданий сценарного типа. Контекст заданий позволяет погрузить учащихся в привычную среду и предложить реалистичные задачи из школьной или повседневной жизни. На базе инструмента прошли тестирования более 4 000 учащихся 7 и 8 классов московских школ. С демо версией заданий можно познакомится по ссылке.

По заказу Департамента образования Москвы

Карьерно-образовательная навигация в социально-экономическом и институциональном контексте Экспертиза батареи тестов для профориентации школьников, предложены рекомендации по улучшению и архитектура диагностического комплекса.

По заказу Фонда «Билет в будущее»

Оценивание в организациях среднего специального и высшего профессионального образования

Модели формирования и оценки общих компетенций выпускников СПО

Деятельностные задания и рубрики оценивания для диагностики уровня развития универсальных компетенций у студентов средне-профессионального образования для их подготовки к трудоустройству в условиях меняющегося рынка.

По заказу Министерства просвещения РФ

Тест экономической грамотности

Построена система заданий для оценки экономической грамотности студентов, включающая формирующую обратную связь. Инструмент осноРаван на моделях когнитивной диагностики и включает конкретные сценарии, которые оценивают экономическое мышление и знание студентов. Тест не только проверяет результаты, но и анализирует процесс принятия решений.

По заказу НИУ ВШЭ

Тест правовой грамотности

Сценарный инструмент для студентов вузов, основанный на решении кейсов, приближенных к жизненным ситуациям, с автоматической проверкой результатов. Примеры ситуаций включают оценку работодателя на основе трудового договора, выбор юриста и другое

По заказу НИУ ВШЭ

Тестологическая экспертиза инструментов измерения для олимпиады «Я — профессионал»

Поддержка разработчиков тестов для олимпиады, включая создание обучающих документов и спецификации для тестов. Эксперты анализировали спецификации, проверяли формулировки тестов и проводили психометрический анализ результатов. Предложены коррективы для работы над проектом в следующем году.

По заказу организационного комитета олимпиады «Я — профессионал»

Оценивание навыков взрослых

Диагностический инструмент мотивации сотрудников организаций

Ипсативный диагностический инструмент для оценки факторов мотивации и демотивации к работе с применением методов IRT.

По заказу АНО «Россия — страна возможностей»

Методология создания инструментов измерения компетенций цифровой экономики

Предложены методы и процедуры разработки инструментов для измерения цифровых компетенций и ключевых навыков, необходимых для независимой оценки компетенций в цифровой экономике (НОК ЦЭ). Сформулированы требования к качеству инструментов и разработаны процедуры сертификации инструментов для измерения цифровых компетенций и ключевых навыков в рамках НОК ЦЭ.

По заказу АНО «Университет Национальной Технологической Инициативы 2035»

Пилотное тестирование инструмента оценки цифровой грамотности

Разработан инструмент для оценки уровня цифровой грамотности взрослых трудоспособных людей, который обеспечивает автоматическую обратную связь. Он основан на сценарных заданиях, созданных для проверки компетенций в области цифровой экономики. Инструмент демонстрирует высокую валидность и надежность результатов измерения и может быть использован в Национальной образовательной квалификационной сети в области цифровых компетенций.

По заказу АНО «Университет Национальной Технологической Инициативы 2035»

Исследование факторов формирования и развития ключевых цифровых компетенций

Проведен анализ международных и российских исследований по оценке цифровых компетенций, а также собственное исследование с использованием современных инструментов оценивания цифровых компетенций, включающих аутентичные задания сценарного типа и автоматическую обработку результатов. Выявлены статистически значимые факторы, влияющие на формирование и развитие базовых цифровых компетенций выбранных целевых групп — учащихся и взрослого трудоспособного населения.

По заказу НИУ ВШЭ

Оценка критическое мышление в свободной онлайн-среде

Разработан инструмент мониторинга, который позволяет оценить уровень критического мышления у взрослых. Респондентам предлагается выработать свою позицию на основе аргументов, найденных ими самостоятельно в онлайн-среде. Оценка происходит автоматически при помощи технологии машинного обучения, которая начисляет баллы. Этот тест может быть полезен при наборе персонала, а также для оценки уровня развития критического мышления студентов

По заказу НИУ ВШЭ

Наши исследовательские проекты

Центр междисциплинарных исследований человеческого потенциала

Теоретико-концептуальные модели и инструменты валидного и надежного измерения ключевых навыков и компетенций в современном мире. Проведение нейрокогнитивных исследований для образовательных практик и аналитика результатов оценивания.

Грант Министерства науки и высшего образования РФ № 075-15-2020-928

Использование контекстной информации и информации из цифровой среды оценивания при измерении индиви­ду­ального прогресса учащихся начальной школы с помощью цифровых технологий

Методология использования времени ответа, журнала логов и других цифровых следов для повышения достоверности и улучшения обратной связи по результатам оценивания школьников и студентов.

Изучение динамики гетероген­ности учащихся в начальной школе: отслеживание движения учащихся от групп риска до групп лидеров

На российских данных широко­мас­штабных лонгитюдных монито­ринговых иссле­дований в начальной школе оцениваем прогресс учащихся на индивидуальном и на групповом уровнях, отслеживаем устойчивость групп, возможную миграцию учащихся по группам, статистически значимо связанные с этим контекстные и личностные факторы.

Грант Центра фундаментальных исследований НИУ ВШЭ

Автоматизация заданий и проверки открытых ответов с использованием машинного обучения

Предложены модели машинного обучения для автоматизации разработки и проверки заданий по русскому языку и читательской грамотности школьного уровня. Результаты проекта позволяют снизить затраты на создание уникальных и вариативных заданий, а также внедрить систему ав-томатической проверки открытых ответов в образовательное тестирование.

Грант Центра искусственного интеллекта НИУ ВШЭ

Исследование возрастных особенностей и психолого-педагогических условий формирования и развития критического мышления

Выявлены и систематизированы психолого-педагогические условия, которые способствуют формированию критического мышления, учитывая возрастные особенности и социальную ситуацию развития учеников.

Грант Центра фундаментальных исследований НИУ ВШЭ

Образовательные программы и мероприятия с участием экспертов центра

Дополнительное образование

 

Программы дополнительного профессионального образования

Базовые навыки психометрического анализа и разработки тестов, а также продвинутые инструменты измерения в образовании, психологии и других социальных науках

 

Международная летняя школа «Прикладная психометрика в психологии и образовании»

Объединяет исследователей и практиков оценивания для изучения актуальных теоретических и практических тенденций, а также создания профессиональных связей

Семинары

Междисциплинарный семинар «Нейронауки об образовании»

Целью является формирование новой научной области, направленной на использование фактов фундаментальной науки для улучшения образования.

Каждые три недели, гибридный формат

Подробнее

Семинар сотрудников Центра психометрики и измерений в образовании

Для исследователей в социальных науках по вопросам методов измерения в образовании и психологии. Участниками семинара являются сотрудники Центра и приглашенные эксперты.

Подробнее

Международный научный семинар (вебинар) «Измерения и анализ данных в психологии и образовании»

Организован в партнерстве с Московским государственным психолого-педагогическим университетом. Здесь обсуждаем вопросы измерений в психологии и образовании, исследования в соответствии с доказательным подходом, а также анализ больших данных в образовании.

Подробнее

Специализированные подразделения в структуре Центра

 

Памяти Марка Зелмана

1961–2022

Марк Зелман был одним из ведущих мировых специалистов в области оценки и мониторинга качества образования. Он участвовал в создании множества тестов для разных стран, включая Graduate Record Examination (GRE), Graduate Management Admission Test (GMAT), Prueba de Admisión para Estudios Graduados (PAEG), the Praxis Series, NAEP и SAT I. Марк был экспертом в области оценивания в крупнейших компаниях, таких как Educational Testing Service (ETS), USAID, British Council, IADB, American Councils и Всемирный банк, а также был руководителем многих экспертных групп. Он свободно говорил на шести языках. Для нас Марк является большой потерей: все эти годы он оставался другом, партнером и консультантом Центра психометрики и измерений в образовании, выступал на наших летних школах, преподавал на наших образовательных программах и помогал нам в разработке российских инструментов. 

Команда Центра

Наши специалисты стажировались в крупнейших мировых психометрических центрах: CITO, Бостон-колледжа, Массачусетского университета, Университета Дарема, Университета Беркли, Университета Иллинойса в Чикаго.

Контактное лицо: Ксения Вадимовна Тарасова
E-mail: ktarasova@hse.ru

Руководители

Болотов Виктор Александрович

Научный руководитель

Карданова Елена Юрьевна

Научный руководитель

Иванова Алина Евгеньевна

Заместитель директора центра, старший научный сотрудник

Тарасов Сергей Владимирович

Заместитель директора центра, стажер-исследователь

Авдеева Светлана Михайловна

Заведующая лабораторией

Антипкина Инна Вениаминовна

Заведующая проектно-учебной лабораторией, научный сотрудник

Сотрудники

Бакай Екатерина Анатольевна

Стажер-исследователь

Беляева Анастасия Юрьевна

Аспирант, стажер-исследователь

Грачева Дарья Александровна

Младший научный сотрудник

Канонир Татьяна

Старший научный сотрудник

Павлова Екатерина Сергеевна

Стажер-исследователь

Павлова Мария Константиновна

Стажер-исследователь

Попова Анна Валерьевна

Аспирант, стажер-исследователь

Талов Даниил Павлович

Стажер-исследователь

Юсупова Элен Магомедовна

Научный сотрудник

Подписка на анонсы центра

Публикации

  • Книга

    Цыгунова М. М., Дашков М. М.

    Контент-маркетинг и лингвистические особенности создания текста

    Учебное пособие и книга для преподавателя подготовлены специалистами в области лингвистики, маркетинга и контент-маркетинга, имеющими большой опыт работы в России и за рубежом. В пособии содержатся основные рекомендации, методы и концепции контент-маркетинга — как теоретические, так и практические, — которые помогут читателю в создании контента в сфере его деятельности.
    Книга для преподавателя дополняет и расширяет возможности и форматы работы с учебным пособием. В ней приведены дополнительные задания для разных режимов работы и включены ответы на задания учебного пособия, их облегченные версии и примеры их выполнения.
    Издания предназначены для студентов бакалавриата, обучающихся по таким направлениям, как лингвистика, маркетинг и контент-маркетинг, а также для преподавателей. Они могут быть использованы читателем самостоятельно либо преподавателем для индивидуальной или групповой работы и обучения.

    Ожидается электронная версия книги

    М.: Издательский дом НИУ ВШЭ, 2024.

  • Статья

    Belyaeva A.

    HowStudentsBehaveWhileSolvingCriticalThinkingTasksinanUnconstrainedOnlineEnvironment: InsightsfromProcessMining

    Educational studies. 2024. P. 4-26.

  • Глава в книге

    Струкова А. С.

    Благополучие школьников в теории самодетерминации: обзор теоретических и эмпирических публикаций

    Теория самодетерминированной личности предлагает свой взгляд на благополучие учащихся. Согласно этому взгляду удовлетворение трех универсальных потребностей - автономии (autonomy), компетентности (competence) и сопричастности (relatedness) является условием для благополучия личности. Ряд публикаций, основанных на этой теории, рассматривают вопросы благополучия в школе. Цель работы - провести систематический обзор таких публикаций.  Для обзора будут использованы публикации на основе теории детерминации, касающиеся сферы образования. Исследовательские вопросы: 

    • Каковы теоретические основания благополучия в теории самодетерминации? 

    • Каков спектр исследований школьного благополучия, основанных на теории самодетерминации?

    • Какие интервенции для повышения благополучия предлагает теория самодетерминации?

    • В какой мере они находят подтверждение эффективности в доказательных исследованиях? 

    Публикация будет полезна исследователям в сфере образования - так как предложит обзор существующих исследований и “лакуны” для будущих вопросов - практикам, так как укажет на существующие способы повышения благополучия, опирающиеся на теорию самодетерминированной личности и оценку их эффективности в эмпирических публикациях.

    В кн.: Благополучие в образовании: современные исследования: сборник научных статей. М.: НИУ ВШЭ, Институт образования, 2024. Гл. 1. С. 11-42.

  • Препринт

    Kardanova E., Ivanova A., Tarasova K. et al.

    A Novel Psychometrics-Based Approach to Developing Professional Competency Benchmark for Large Language Models

    The era of large language models (LLM) raises questions not only about how to train models, but also about how to evaluate them. Despite numerous existing benchmarks, insufficient attention is often given to creating assessments that test LLMs in a valid and reliable manner. To address this challenge, we accommodate the Evidence-centered design (ECD) methodology and propose a comprehensive approach to benchmark development based on rigorous psychometric principles. In this paper, we have made the first attempt to illustrate this approach by creating a new benchmark in the field of pedagogy and education, highlighting the limitations of existing benchmark development approach and taking into account the development of LLMs. We conclude that a new approach to benchmarking is required to match the growing complexity of AI applications in the educational context. We construct a novel benchmark guided by the Bloom's taxonomy and rigorously designed by a consortium of education experts trained in test development. Thus the current benchmark provides an academically robust and practical assessment tool tailored for LLMs, rather than human participants. Tested empirically on the GPT model in the Russian language, it evaluates model performance across varied task complexities, revealing critical gaps in current LLM capabilities. Our results indicate that while generative AI tools hold significant promise for education - potentially supporting tasks such as personalized tutoring, real-time feedback, and multilingual learning - their reliability as autonomous teachers' assistants right now remain rather limited, particularly in tasks requiring deeper cognitive engagement.

    Computation and Language (cs.CL); Artificial Intelligence (cs.AI). cs.CL. arXiv, 2024

Все публикации