Создаем и адаптируем
инструменты для образовательного и психологического оценивания детей и взрослых, измерения навыков 21 века, социально-эмоциональных навыков и других сложных конструктов
Разрабатываем
статистические модели и модели машинного обучения для анализа цифрового следа, автоматического скоринга заданий открытого типа и эссе, автоматической генерации заданий тестов и других целей
Изучаем
новые конструкты — многосоставные латентные характеристики детей и взрослых — их определения, индикаторы и способы измерения, актуальные для современного образования
Проводим
мониторинги образовательных результатов, тестирования социально-эмоциональных навыков и другие оценивания для организаций образования разного уровня
Тематическая карта наших исследований
-
Способы измерения психологических и образовательных конструктов: социально-эмоциональных и «мягких» навыков, метапредметных и предметных образовательных результатов, универсальных компетентностей и когнитивных способностей
-
Определения и индикаторы психологических и образовательных конструктов с аргументацией, почему по этим индикаторам можно сделать вывод об этих конструктах
-
Создание и систематизация существующих статистических моделей и моделей машинного обучения для автоматизированных измерений, анализ цифровых следов для автоматизации и ускорения оценивания
Направления экспертизы и консалтинга
Валидные инструменты измерения
Для образовательных и коммерческих организаций; проверяем на соответствие с российскими и международными психометрическими стандартами, даем рекомендации по улучшению качества
Индивидуальный образовательный прогресс учащихся на уровне школ и регионов
По предметным и метапредметным образовательным результатам; на уровне университетов по профессиональным и универсальным компетенциям
Обучение методистов и аналитиков
По различных аспектам измерений в сфере образования на основе разработанных авторских программ дополнительного профессионального образования
Наши инструменты измерения для современного образования
СТАРТ-ПРОГРЕСС
Линейка инструментов для измерения индивидуального прогресса по базовым грамотностям (читательской, языковой и математической) и предметным образовательным результатам в начальной и основной школе
4К-тест
Измерение метапредметных результатов образования (Критическое мышление, Креативность, Коммуникация, Кооперация) учащихся начальной и основной школы
IC Literacy Test
Измерение информационно-коммуникационной компетентности учащихся 9 классов
DIGLIT: Измерение цифровой грамотности учащихся основной школы
Линейка инструментов для оценивания социально-эмоциональных навыков, мотивации и субъективного благополучия учащихся начальной и основной школы
Наши ключевые прикладные проекты
Оценивание в начальной школе
Тест читательской грамотности
Создан инструмент на основе методов IRT для оценки грамотности чтения учеников 2-3 классов. Он проверяет уровень понимания художественных и информационных текстов, используя единую шкалу и систему пороговых баллов. Кроме того, инструмент оценивает эффективность стратегий чтения и позволяет отслеживать прогресс учеников.
По заказу Учи.ру
Тест языковой грамотности
Спроектирован интерактивный формат заданий для отслеживания динамики развития языковой грамотности учащихся 3-5 классов. С помощью инструмента ученики могут находить и исправлять ошибки в тексте через специальный браузер, похожий на текстовый редактор. Эта методика создает ситуацию, приближенную к реальной, и помогает эффективно контролировать прогресс в обучении грамотному письму.
По заказу Сбера
Тест критического мышления, креативности, коммуникации и кооперации
Разработан метод диагностики мягких навыков для учеников 4-7 классов. Эти навыки являются важными для успешной адаптации в современном мире. Инструмент позволяет выбрать, какие навыки измерять — один, несколько или все четыре. 4К-тест определяет исходный уровень навыков и позволяет измерить прогресс в их развитии.
По заказу Учи.ру
Оценивание в средней и старшей школе
Мониторинг индивидуального прогресса
Разработан инструмент мониторинга предметных знаний для отслеживания прогресса учащихся 5-11 классов в соответствии с ФГОС. Тестирование проводится несколько раз в год в компьютерном формате, а все задания проверяются автоматически для обеспечения объективности и ускорения проверки. Инструмент успешно опробован на практике, а его качество подтверждено независимой экспертизой.
По заказу НИУ ВШЭ
Мониторинг информационно-коммуникационной компетентности
Проведена оценка уровня информационно-коммуникационной (ИК) компетентности выпускников основной школы. В мониторинговом исследовании приняли участие свыше 30 000 учащихся 9-х классов из 21 субъекта РФ, свыше 12 000 учителей и более 1100 администраторов школ. Целью исследования было определение готовности выпускников основной школы к жизни в информационном обществе и выявление факторов, влияющих на формирование ИК-компетентности в регионах РФ.
По заказу ФГАУ «Фонд новых форм развития образования»
Диагностика городской грамотности
Проведена комплексная оценка готовности учеников 6 и 10 классов к жизни в мегаполисе. Тестирование включало в себя такие аспекты, как мобильность в городе, локальная грамотность, здоровый образ жизни, применение цифровых технологий, про-социальная вовлеченность и межкультурное взаимодействие.
По заказу Департамента образования Москвы
Вступительное тестирование для проекта «Медиакласс в московской школе»
Специально для выпускников девятых классов, претендующих на обучение в медиаклассах, было подготовлено пять вариантов отборочных тестов. Они направлены на проверку языковой и информационной грамотности в контексте современных медиа. Каждый вариант теста основан на теоретической модели, которая может использоваться для оценивания схожих конструктов.
По заказу Департамента образования Москвы
Разработка концептуальной модели исследования цифровой грамотности и апробация тестовых заданий для оценки уровня цифровой грамотности учащихся 7-го класса
Разработан инструмент измерения цифровой грамотности на основе интерактивных заданий сценарного типа. Контекст заданий позволяет погрузить учащихся в привычную среду и предложить реалистичные задачи из школьной или повседневной жизни. На базе инструмента прошли тестирования более 4 000 учащихся 7 и 8 классов московских школ. С демо версией заданий можно познакомится по ссылке.
По заказу Департамента образования Москвы
Карьерно-образовательная навигация в социально-экономическом и институциональном контексте Экспертиза батареи тестов для профориентации школьников, предложены рекомендации по улучшению и архитектура диагностического комплекса.
По заказу Фонда «Билет в будущее»
Оценивание в организациях среднего специального и высшего профессионального образования
Модели формирования и оценки общих компетенций выпускников СПО
Деятельностные задания и рубрики оценивания для диагностики уровня развития универсальных компетенций у студентов средне-профессионального образования для их подготовки к трудоустройству в условиях меняющегося рынка.
По заказу Министерства просвещения РФ
Тест экономической грамотности
Построена система заданий для оценки экономической грамотности студентов, включающая формирующую обратную связь. Инструмент осноРаван на моделях когнитивной диагностики и включает конкретные сценарии, которые оценивают экономическое мышление и знание студентов. Тест не только проверяет результаты, но и анализирует процесс принятия решений.
По заказу НИУ ВШЭ
Тест правовой грамотности
Сценарный инструмент для студентов вузов, основанный на решении кейсов, приближенных к жизненным ситуациям, с автоматической проверкой результатов. Примеры ситуаций включают оценку работодателя на основе трудового договора, выбор юриста и другое
По заказу НИУ ВШЭ
Тестологическая экспертиза инструментов измерения для олимпиады «Я — профессионал»
Поддержка разработчиков тестов для олимпиады, включая создание обучающих документов и спецификации для тестов. Эксперты анализировали спецификации, проверяли формулировки тестов и проводили психометрический анализ результатов. Предложены коррективы для работы над проектом в следующем году.
По заказу организационного комитета олимпиады «Я — профессионал»
Оценивание навыков взрослых
Диагностический инструмент мотивации сотрудников организаций
Ипсативный диагностический инструмент для оценки факторов мотивации и демотивации к работе с применением методов IRT.
По заказу АНО «Россия — страна возможностей»
Методология создания инструментов измерения компетенций цифровой экономики
Предложены методы и процедуры разработки инструментов для измерения цифровых компетенций и ключевых навыков, необходимых для независимой оценки компетенций в цифровой экономике (НОК ЦЭ). Сформулированы требования к качеству инструментов и разработаны процедуры сертификации инструментов для измерения цифровых компетенций и ключевых навыков в рамках НОК ЦЭ.
По заказу АНО «Университет Национальной Технологической Инициативы 2035»
Пилотное тестирование инструмента оценки цифровой грамотности
Разработан инструмент для оценки уровня цифровой грамотности взрослых трудоспособных людей, который обеспечивает автоматическую обратную связь. Он основан на сценарных заданиях, созданных для проверки компетенций в области цифровой экономики. Инструмент демонстрирует высокую валидность и надежность результатов измерения и может быть использован в Национальной образовательной квалификационной сети в области цифровых компетенций.
По заказу АНО «Университет Национальной Технологической Инициативы 2035»
Исследование факторов формирования и развития ключевых цифровых компетенций
Проведен анализ международных и российских исследований по оценке цифровых компетенций, а также собственное исследование с использованием современных инструментов оценивания цифровых компетенций, включающих аутентичные задания сценарного типа и автоматическую обработку результатов. Выявлены статистически значимые факторы, влияющие на формирование и развитие базовых цифровых компетенций выбранных целевых групп — учащихся и взрослого трудоспособного населения.
По заказу НИУ ВШЭ
Оценка критическое мышление в свободной онлайн-среде
Разработан инструмент мониторинга, который позволяет оценить уровень критического мышления у взрослых. Респондентам предлагается выработать свою позицию на основе аргументов, найденных ими самостоятельно в онлайн-среде. Оценка происходит автоматически при помощи технологии машинного обучения, которая начисляет баллы. Этот тест может быть полезен при наборе персонала, а также для оценки уровня развития критического мышления студентов
По заказу НИУ ВШЭ
Наши исследовательские проекты
Центр междисциплинарных исследований человеческого потенциала
Теоретико-концептуальные модели и инструменты валидного и надежного измерения ключевых навыков и компетенций в современном мире. Проведение нейрокогнитивных исследований для образовательных практик и аналитика результатов оценивания.
Грант Министерства науки и высшего образования РФ № 075-15-2020-928
Использование контекстной информации и информации из цифровой среды оценивания при измерении индивидуального прогресса учащихся начальной школы с помощью цифровых технологий
Методология использования времени ответа, журнала логов и других цифровых следов для повышения достоверности и улучшения обратной связи по результатам оценивания школьников и студентов.
Изучение динамики гетерогенности учащихся в начальной школе: отслеживание движения учащихся от групп риска до групп лидеров
На российских данных широкомасштабных лонгитюдных мониторинговых исследований в начальной школе оцениваем прогресс учащихся на индивидуальном и на групповом уровнях, отслеживаем устойчивость групп, возможную миграцию учащихся по группам, статистически значимо связанные с этим контекстные и личностные факторы.
Грант Центра фундаментальных исследований НИУ ВШЭ
Автоматизация заданий и проверки открытых ответов с использованием машинного обучения
Предложены модели машинного обучения для автоматизации разработки и проверки заданий по русскому языку и читательской грамотности школьного уровня. Результаты проекта позволяют снизить затраты на создание уникальных и вариативных заданий, а также внедрить систему ав-томатической проверки открытых ответов в образовательное тестирование.
Грант Центра искусственного интеллекта НИУ ВШЭ
Исследование возрастных особенностей и психолого-педагогических условий формирования и развития критического мышления
Выявлены и систематизированы психолого-педагогические условия, которые способствуют формированию критического мышления, учитывая возрастные особенности и социальную ситуацию развития учеников.
Грант Центра фундаментальных исследований НИУ ВШЭ
Дополнительное образование
Программы дополнительного профессионального образования
Базовые навыки психометрического анализа и разработки тестов, а также продвинутые инструменты измерения в образовании, психологии и других социальных науках
Международная летняя школа «Прикладная психометрика в психологии и образовании»
Объединяет исследователей и практиков оценивания для изучения актуальных теоретических и практических тенденций, а также создания профессиональных связей
Семинары
Междисциплинарный семинар «Нейронауки об образовании»
Целью является формирование новой научной области, направленной на использование фактов фундаментальной науки для улучшения образования.
Каждые три недели, гибридный формат
Семинар сотрудников Центра психометрики и измерений в образовании
Для исследователей в социальных науках по вопросам методов измерения в образовании и психологии. Участниками семинара являются сотрудники Центра и приглашенные эксперты.
Международный научный семинар (вебинар) «Измерения и анализ данных в психологии и образовании»
Организован в партнерстве с Московским государственным психолого-педагогическим университетом. Здесь обсуждаем вопросы измерений в психологии и образовании, исследования в соответствии с доказательным подходом, а также анализ больших данных в образовании.
Специализированные подразделения в структуре Центра
-
Лаборатория измерения новых конструктов и дизайна тестов
Изучает сложные метапредметные результаты обучения и компетенции с помощью комплексных сценарных инструментов измерения, в которых респонденты погружаются в аутентичные сюжетные истории. Среди таких конструктов — критическое мышление, креативность, коммуникация и кооперация, цифровая грамотность другие важные для жизни компетенции.
Контактное лицо: Светлана Михайловна Авдеева
E-mail: savdeeva@hse.ru -
Проектно-учебная лаборатория моделирования и оценивания компетенций в высшем образовании
Занимается разработкой инструментов оценивания универсальных компетенций в высшем образовании с привлечением студентов и аспирантов НИУ ВШЭ
Контактное лицо: Инна Вениаминовна Антипкина
E-mail: iantipkina@hse.ru -
Методический центр измерения образовательных достижений
Измеряет сквозные, универсальные и профессиональные компетенции студентов высшего образования: правовую, цифровую, экономическую и языковую грамотность (английский язык) в сотрудничестве с соответствующими факультетами НИУ ВШЭ
Контактное лицо: Елена Юрьевна Карданова
E-mail: ekardanova@hse.ru
-
Группа измерения психологических конструктов в образовании
Выявляет психологические черты, характеристики личности и социально-эмоциональные навыки учеников и сотрудников организаций, апробирует новые способы измерения психологических конструктов
Контактное лицо: Валерия Алексеевна Манина
E-mail: vmanina@hse.ru -
Группа психометрического моделирования
Проверяет исследовательские гипотезы и автоматизирует процесс измерения в цифровой среде с помощью инновационных моделей статистики, психометрики и машинного обучения
Контактное лицо: Сергей Владимирович Тарасов
E-mail: svtarasov@hse.ru -
Проектно-учебная группа когнитивной психометрики
Контактное лицо: Юлия Владимировна Кузьмина
E-mail: jkuzmina@hse.ru
Памяти Марка Зелмана
Марк Зелман был одним из ведущих мировых специалистов в области оценки и мониторинга качества образования. Он участвовал в создании множества тестов для разных стран, включая Graduate Record Examination (GRE), Graduate Management Admission Test (GMAT), Prueba de Admisión para Estudios Graduados (PAEG), the Praxis Series, NAEP и SAT I. Марк был экспертом в области оценивания в крупнейших компаниях, таких как Educational Testing Service (ETS), USAID, British Council, IADB, American Councils и Всемирный банк, а также был руководителем многих экспертных групп. Он свободно говорил на шести языках. Для нас Марк является большой потерей: все эти годы он оставался другом, партнером и консультантом Центра психометрики и измерений в образовании, выступал на наших летних школах, преподавал на наших образовательных программах и помогал нам в разработке российских инструментов.
Команда Центра
Наши специалисты стажировались в крупнейших мировых психометрических центрах: CITO, Бостон-колледжа, Массачусетского университета, Университета Дарема, Университета Беркли, Университета Иллинойса в Чикаго.
Контактное лицо: Ксения Вадимовна Тарасова
E-mail: ktarasova@hse.ru
Руководители
Директор центра
Научный руководитель
Научный руководитель
Заместитель директора центра, старший научный сотрудник
Заместитель директора центра, стажер-исследователь
Заведующая лабораторией
Заведующая проектно-учебной лабораторией, научный сотрудник
Сотрудники
Аналитик
Стажер-исследователь
Аспирант, стажер-исследователь
Менеджер
Младший научный сотрудник
Аналитик
Старший научный сотрудник
Ведущий эксперт
Аналитик
Ведущий аналитик
Аналитик
Стажер-исследователь
Стажер-исследователь
Научный сотрудник
Аспирант, стажер-исследователь
Аналитик
Аналитик
Стажер-исследователь
Стажер-исследователь
Научный сотрудник
Публикации
-
Книга
Контент-маркетинг и лингвистические особенности создания текста
Учебное пособие и книга для преподавателя подготовлены специалистами в области лингвистики, маркетинга и контент-маркетинга, имеющими большой опыт работы в России и за рубежом. В пособии содержатся основные рекомендации, методы и концепции контент-маркетинга — как теоретические, так и практические, — которые помогут читателю в создании контента в сфере его деятельности.
Книга для преподавателя дополняет и расширяет возможности и форматы работы с учебным пособием. В ней приведены дополнительные задания для разных режимов работы и включены ответы на задания учебного пособия, их облегченные версии и примеры их выполнения.
Издания предназначены для студентов бакалавриата, обучающихся по таким направлениям, как лингвистика, маркетинг и контент-маркетинг, а также для преподавателей. Они могут быть использованы читателем самостоятельно либо преподавателем для индивидуальной или групповой работы и обучения.М.: Издательский дом НИУ ВШЭ, 2024.
-
Статья
Шкала агентности: разработка, апробация, психометрический анализ качества и оценка валидности
Среди задач современного образования стала активно обсуждаться проблема развития агентности. Постановка и решение такой задачи требуют наличия доступного инструмента оценки, который возможно оперативно применить для отслеживания эффектов тех или иных образовательных практик, насколько они в большей или меньшей степени работают на такой личностный результат. Это поставило задачу разработки Шкалы агентности для обучающихся 11-18 лет. В статье представлен разработанный опросник «Шкала агентности», который прошел апробацию на выборке 4 889 обучающихся 5-11-х классов. Описаны результаты проведенных психометрических измерений и валидизации теста.
Мир психологии. Научно-методический журнал. 2024. № 4. С. 59-77.
-
Глава в книге
Влияние артикуляции решения индуктивной задачи на перенос правила решения
В недавнем исследовании (Lupyan & Zetterstern 2021) было показано, что после решения многочисленных задач на нахождение общего свойства у примеров испытуемые быстрее находят правило при решении новых аналогичных задач, если они должны были вербализовать решение задач на первом этапе. При этом эффект вербализации ограничен типом правила: вербализация помогает переносу конкретных перцептивных правил и не оказывает влияния на перенос абстрактных. В настоящем исследовании мы изучали влияние разных форм вербализации - устной и письменной - на решение аналогичных задач. Согласно нашей гипотезе, эффект вербализации должен быть выражен не только при устной форме вербализации или артикуляции решения. При записи решения без артикуляции эффект вербализации должен проявляться в той же степени.
В кн.: Десятая международная конференция по когнитивной науке: Тезисы докладов. Пятигорск, 26–30 июня 2024 г.. Пятигорск: ОПиИД УНР ФГБОУ ВО «ПГУ», 2024. С. 389-391.
-
Препринт
A Novel Psychometrics-Based Approach to Developing Professional Competency Benchmark for Large Language Models
The era of large language models (LLM) raises questions not only about how to train models, but also about how to evaluate them. Despite numerous existing benchmarks, insufficient attention is often given to creating assessments that test LLMs in a valid and reliable manner. To address this challenge, we accommodate the Evidence-centered design (ECD) methodology and propose a comprehensive approach to benchmark development based on rigorous psychometric principles. In this paper, we have made the first attempt to illustrate this approach by creating a new benchmark in the field of pedagogy and education, highlighting the limitations of existing benchmark development approach and taking into account the development of LLMs. We conclude that a new approach to benchmarking is required to match the growing complexity of AI applications in the educational context. We construct a novel benchmark guided by the Bloom's taxonomy and rigorously designed by a consortium of education experts trained in test development. Thus the current benchmark provides an academically robust and practical assessment tool tailored for LLMs, rather than human participants. Tested empirically on the GPT model in the Russian language, it evaluates model performance across varied task complexities, revealing critical gaps in current LLM capabilities. Our results indicate that while generative AI tools hold significant promise for education - potentially supporting tasks such as personalized tutoring, real-time feedback, and multilingual learning - their reliability as autonomous teachers' assistants right now remain rather limited, particularly in tasks requiring deeper cognitive engagement.Computation and Language (cs.CL); Artificial Intelligence (cs.AI). cs.CL. arXiv, 2024