• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Семинар «Измерения в психологии и образовании»

Семинар Центра психометрики и измерений в образовании посвящен обсуждению современных подходов в разработке измерительных инструментов и психометрических исследованиях. Участниками семинара являются сотрудники Центра и приглашенные эксперты. Руководитель семинара – Дарья Грачева

На семинаре происходит обсуждение статей в процессе публикации и уже опубликованных научных статей, репетиции докладов перед конференциями (например, AEA-Europe или IMPS), а также генерация идей и запрос экспертизы для будущих научных исследований.

Прошедшие семинары

 

Связь между ожиданиями  учителей и академическими достижениями детей в первом классе (5 апреля 2021)

Существует большое число исследований о связи между учительскими ожиданиями и академическими результатами детей как на индивидуальном уровне, так и на групповом уровне. При исследовании эффектов учителей не групповом уровне рассматривают группы, выделенные только по одной характеристике: академические результаты, например, по математике или чтению, социально-экономический статус семьи, этническая принадлежность и другое. Однако, ряд исследований показывает, что учителя формируют свои ожидания, основываясь как на академических достижениях, так и на социально-эмоциональных характеристиках ученика (например, поведение в школе). При этом, эффекты учительских ожиданий на академические достижения детей, различающихся по уровню когнитивного и социально-эмоционального развития, практически отсутствуют. Данное исследование направлено на изучение связи между учительскими ожиданиями и академическими результатами по чтению и математике детей начальной школы, различающихся по уровням когнитивного и социально-эмоционального развития.

Докладчик: Элен Абдурахманова, стажер-исследователь Центра психометрики и измерений в образовании

 


Академические достижения детей с поведенческими проблемами в начальной школе: роль учительских практик и ожиданий (15 марта 2021)

Поведенческие проблемы с невнимательностью и гиперактивностью являются одной из наиболее распространённых причин снижения успеваемости у младших школьников. Методы помощи включают в себя организацию отдельных классов, бихевиоральную терапию и применение медикаментов, но не исчерпываются ими: учителя и их особенности, важная составляющая школьной среды, также могут способствовать или препятствовать успешному обучению невнимательных и гиперактивных детей. Данное исследование ставит вопрос о том, какую роль в академических достижениях детей с поведенческими проблемами играют применение педагогом специфических практик работы с классом, а также его ожидания от учащихся.

Докладчик: Илья Денисов, стажер-исследователь Центра психометрики и измерений в образовании

 


Do Engaged Students with School Perform Better? Findings from Russian Students and Russian Teachers (15 февраля 2021)

Engaged students are more likely to invest in learning and gain higher academic scores. Many studies examine school engagements through the lens of either the children or the teachers. Research on shared understanding of school engagement among children and teachers is less well understood. We examined school engagement and academic performance using a student-teacher shared perception paradigm. Russian school-aged children (n = 133) between 6 and 12 years and their teachers participated in the study. Students were asked to complete a validated school engagement scale, which measures emotional, behavioral and cognitive components of school engagement. Teachers were asked to complete an adapted school engagement scale that evaluates the same three components. Academic performance for mathematics, science, language and reading was reported by the teachers. Statistical analyses showed that both overall school engagement rated by teachers and students significantly predicted the academic performance. Teachers’ assessment of cognitive engagement of students was found to be the strongest antecedent of academic performance in mathematics and reading, whereas students’ assessment of behavioral engagement was the strongest predictor of academic performance in science and language. Teachers and students value different components of school engagement, depending on the school subject, whereas shared perception on emotional component appeared to be a more reliable predictor of academic performance. Practical and theoretical implications are discussed.

Докладчик: Чархаби Мортеза, доцент Института образования НИУ ВШЭ

 


Методология Evidence-Centered Design: концептуальные основы и примеры применения (25 января 2021)

Вызовы современного мира ставят новые практические и исследовательские задачи в области тестирования. Все большее внимание уделяется измерению сложных конструктов: критическое мышление, креативность, цифровая грамотность и т.п. Для измерения таких конструктов стандартные подходы к разработке инструментов оценивания не подходят. Метод доказательной аргументации (Evidence-Centered Design) – алгоритм проектирования, который основывается на принципах формальной логики, выстраивая систему аргументации от действий респондента в процессе решения заданий к выводу о сформированности компетенции (измеряемого конструкта). Знакомство с новой методологией разработки тестов даст исследователям возможность более гибко выстраивать процесс разработки теста и подбирать подходящие методологические приемы под свои цели и задачи.

Докладчик:  Ксения Тарасова, заместитель заведующего Лаборатории измерения новых конструктов и дизайна тестов

Презентация доклада: Методология Evidence-Centered Design: концептуальные основы и примеры применения 

 


130 лет психометрике: от науки о тестах знаний к вычислительной науке о поведении (23 ноября 2020)

Психометрика, наука о психологических и педагогических измерениях, отметила (и продолжает отмечать) 130-летие. За это время из науки, основным подходом которой был подсчет правильных ответов на тестовые задания, психометрика превратилась в сложную междисциплинарную область знания на стыке психологии, педагогики, математической статистики, науки о данных и машинного обучения. На лекции мы познакомимся с историей развития психометрики, задачами, которые решала и решает эта наука, ее достижениями последних лет и перспективными областями для новых исследований.

Докладчик: Дмитрий Аббакумов, доктор наук об образовании (PhD KU Leuven in Educational Sciences), руководитель Центра вычислительных наук об образовании НИУ ВШЭ.

Презентация доклада: 130 лет психометрике: от науки о тестах знаний к вычислительной науке о поведении 

 


Анализ изображений в образовательном тестировании с помощью машинного обучения (16 ноября 2020)

В докладе продемонстрированы возможности машинного обучения для анализа изображений в образовательном тестировании по данным инструмента «4К» на примере навыка креативности. Применение психометрического анализа данных в методологии латентного классового анализа (Latent Class Analysis, LCA) позволило получить разметку для обучения нейронной сети без привлечения экспертов. Высокая точность предсказаний сети для идентификации креативности изображений позволяет говорить о масштабных перспективах машинного обучения  для оценки сложных образовательных и психологических характеристик.

Докладчики: Ирина Угланова, младший научный сотрудник Центра психометрики и измерений в образовании, Евгений Гельвер, аналитик Центра психометрики и измерений в образовании, Сергей Тарасов, стажер-исследователь Центра психометрики и измерений в образовании, Дарья Грачева, стажер-исследователь Центра психометрики и измерений в образовании, Елена Вырва, стажер-исследователь Центра психометрики и измерений в образовании

Презентация доклада: Анализ изображений в образовательном тестировании с помощью машинного обучения

 


Педагогический дизайн образовательных игр (26 октября 2020)

Разработка образовательных и оценивающих игр - одна из стремительно развивающихся отраслей в мире (Metaari, 2019). Этот доклад - экспресс-погружение в область образовательных игр, в котором освещены базовые вопросы дизайна образовательных игр на основе 2-х летних исследований и опыта разработки образовательных игр. В докладе кратко представлен экскурс по ключевым  понятиям и терминам, описаны верхнеуровнево составляющие игр с точки зрения разработчиков, основные вопросы и разработанная автором рамка педагогического дизайна в игровых средах, а также развитие подходов оценивания на основе игр (Game Based Assessment).

Докладчик: Марина Щербакова, аналитик Лаборатории измерения новых конструктов и дизайна тестов

Презентация доклада: Педагогический дизайн образовательных игр 

Запись семинара доступна по ссылке

 


Оценивание открытых заданий в тесте смыслового чтения (5 октября 2020)

В исследовании проанализированы типичные паттерны ответов детей на вопросы в тесте смыслового чтения с форматом выделения ответа в тексте и проведена статистическая верификация определенных экспертами правил начисления баллов за выполнение компьютеризированных заданий. Показано, что паттерны ответов не организованы в соответствии с таксономией когнитивных процессов, а также, что дети демонстрируют разнообразие паттернов. 

Докладчики: Инна Антипкина, научный сотрудник Центра психометрики и измерений в образовании, Ольга Соболева, стажер-исследователь Центра психометрики и измерений в образовании

Презентация доклада: Оценивание открытых заданий в тесте смыслового чтения 

 


Коллатеральная информация в психометрике (28 сентября 2020)

В данном докладе проводится разграничение психометрической целевой и коллатеральной информации, получаемой во время компьютерного тестирования. Вводится классификация источников коллатеральной информации на основе того, какую информацию они описывают – респондентов, задания или их взаимодействие. Описываются тонкости интерпретации психометрических моделей, предназначенных для обработки коллатеральной информации. Также, рассматриваются примеры анализа коллатеральной информации на данных проектов центра.

Докладчики: Денис Федерякин, стажер-исследователь Центра психометрики и измерений в образовании, Ирина Угланова, стажер-исследователь Центра психометрики и измерений в образовании

Презентация доклада: Коллатеральная информация в психометрике 

Запись семинара доступна по ссылке

 


Результаты мониторинга ИК-компетентности выпускников основной школы (14 сентября 2020) 

Умение работать с информацией в цифровой среде играет ключевую роль в развитии и успешности  выпускника основной школы, вот почему информационно-коммуникационная компетентность (ИК-компетентность) входит практически во все мировые рамки навыков 21 века. ИК-компетентность сложный латентный конструкт,  для измерения  которого был разработан специальный инструмент, качество которого было подтверждено на результатах исследований в школах РФ и ряде других стран. Данный инструмент был использован для федерального мониторинга ИК-компетентности в рамках ФП ЦОС. В данном выступлении будут представлены результаты «первой волны» мониторинга в 11 регионах РФ и факторы, связанные с формированием ИК-компетентности 14-летних учащихся.

Докладчики: Светлана Авдеева, заведующая Лабораторией измерения новых конструктов и дизайна тестов, Ксения Тарасова, аналитик Лаборатории измерения новых конструктов и дизайна тестов

Презентация доклада: Результаты мониторинга ИК-компетентности выпускников основной школы 

 


Измерение базовой математической грамотности в начальной школе (6 июля 2020)

Математическая грамотность играет ключевое знание в повседневной жизни, однако измерение этого конструкта затруднено в силу его многокомпонентности, а также частой нагруженности заданий текстовой информацией. В докладе будут представлены результаты проверки и обоснования различных подходов к психометрическому моделированию теста, направленного на измерение математической грамотности, на примере инструмента PROGRESS-ML для учащихся 3-го класса.

Докладчики: Елена Карданова, директор Центра психометрики и измерений в образовании, Галина Ларина, научный сотрудник Центра психометрики и измерений в образовании, Денис Федерякин, стажер-исследователь Центра психометрики и измерений в образовании

Презентация доклада: Измерение базовой математической грамотности в начальной школе 

 


Копинг-стратегии учителей в условиях стресса (29 июня 2020)

На семинаре были представлены результаты исследования особенностей психологического стресса у учителей в ситуации дистанционного преподавания во время пандемии COVID-2019. Его целью было описать факторы возникновения стресса и стратегии совладания с ним с помощью качественной методологии – полу-структурированного интервью с последующим контент-анализом. Выборка составила 13 учителей из различных регионов России, а также одной билингвальной берлинской школы. Результаты планируется опубликовать в ближайшее время в отечественном рецензируемом журнале.

 


Rasch models with time-parameters within B-GLIRT (22 июня 2020)

Фреймворк двумерной обобщенной линейной современной теории тестирования (Bivariate Generalized Linear Item Response Theory, B-GLIRT) является мощным обобщением большого количества моделей современной теории тестирования для одновременного моделирования времени и правильности ответов. Этот фреймворк позволяет описать различия между респондентами и заданиями с точки зрения двух групп ненаблюдаемых параметров - параметров, определяющих вероятность правильного ответа (как минимум, трудность задания и способность респондента) и наблюдаемое время, за которое был дан ответ (как минимум, временная трудозатрадность заданий и "быстрота" (speediness) респондентов). Тем не менее, большинство моделей, которые можно вписать в этот фреймворк, используют ограничение пропорциональности (proportionality constraint) на факторные нагрузки, отражающие допущение о том, что весь тест состоит из заданий, имеющих относительно гомогенную связь между временем, потраченным на решение, и правильностью ответа. Это ограничение позволяет описать корреляцию между быстротой и способностью респондентов. Однако в случае использования Раш-моделирования для наблюдаемых ответов и модели без ограничения пропорциональности для наблюдаемого времени ответов, B-GLIRT фреймворк вынуждает отбросить параметры корреляции быстроты и способности респондентов. Данное исследование описывает, как ведут себя Раш-модели из B-GLIRT фреймворка в случае, когда корреляция параметров респондентов модельно зафиксирована к нулю. Результаты показывают, что оценка способности респондентов (и аналогичные параметры заданий) оказываются несмещенными в любом случае. В то же время, в параметры быстроты респондентов могут быть существенно смещены относительно истинных значений в случае больших значений корреляций между истинными способностью и быстротой.

ДокладчикДенис Федерякин, стажер-исследователь Центра психометрики и измерений в образовании

Презентация доклада: Rasch models with time-parameters within B-GLIRT 

 


Источники локальной зависимости в заданиях сценарного типа (22 июня 2020)

Подходящим форматом для измерения сложных конструктов выступают задания сценарного типа. Гибкость таких заданий дает плодотворную среду для моделирования сложных отношений между латентными конструктами. В данном исследовании изучалась специфика сценария для измерения критического мышления в 4 классе. Сценарий состоит из двух частей: сначала ученики анализируют предоставленный текст; а затем, предположительно, на основе проанализированной информации они работают в компьютерной симуляции определенной среды. Цель исследования - выяснить, помогает ли зависимость между наблюдаемыми показателями в двух частях сценария представить взаимосвязь между составляющими латентного конструкта.

В качестве модели измерения использовалась байесовская сеть (Almond et al., 2015). Были исследованы и сопоставлены четыре модели: модель с мягкими (I) и строгими (II) пререквизитными отношениями между конструктами (Levy & Mislevy, 2004); (III) модель, в которой наблюдаемые переменные были непосредственно связаны между собой и (IV) модель с дополнительными переменными контекста для пар индикаторов. Для проведения анализа качества модели была применена методология Posterior Predictive Model Checking. Качество модели оценивалось исходя из соблюдения строгих пререквизитных отношений и величины локальной зависимости индикаторов.

Полученные результаты:

а) уточняют внутреннюю структуру данных и отвечают на вопрос о природе связи латентных конструктов;

б) устанавливают природу локальной зависимости между индикаторами в двух частях сценария.

Докладчик: Ирина Угланова, стажер-исследователь Центра психометрики и измерений в образовании

 


Использование моделей попарного сравнения рейтинговых данных для решения задачи непрямого сопоставления данных тестирования (15 июня 2020)

Целью данной работы является разведывательный анализ возможностей проведения международного сопоставительного исследования результатов оценивания раннего навыка чтения детей в начале обучения в школе для стран с различными языком, культурой, возрастом начала школьного обучения. Мы пытаемся изучить возможные способы сопоставления в условиях отсутствия общей метрической шкалы между оценками выборки детей из разных стран.  Исследование включало использование метода попарных сравнений оценок экспертной панели, а также проверку возможности построения пороговых значений результатов тестирования с учетом результатов экспертной оценки. Данное разведывательное исследование проведено на примере данных и двух языковых версий инструмента iPIPS на репрезентативной выборке первоклассников из одного региона России и репрезентативной выборки учащихся из Шотландии.

Докладчик: Алина Иванова, научный сотрудник Центра психометрики и измерений в образовании

 


Лингвистическая оценка материалов для измерения и обучения в младшей школе (1 июня 2020)

Доклад посвящен методике лингвистической оценки учебных текстов. На примере учебников по русскому языку для младшей школы было показано, как с помощью инструментов компьютерной лингвистики измеряются такие параметры, как читабельность текстов учебника, актуальность лексики, входящей в учебник, и представленная в нем картина мира. Авторы доклада продемонстрировали дискуссионные результаты анализа учебника, которые требуют внимания и обсуждения в сообществе экспертов, методистов и преподавателей русского языка.

Докладчики: Мария Лебедева, ведущий научный сотрудник лаборатории когнитивных и лингвистических исследований Института Пушкина, Антонина Лапошина, специалист по компьютерной лингвистике лаборатории когнитивных и лингвистических исследований Института Пушкина

Презентация доклада: Лингвистическая оценка материалов для измерения и обучения в младшей школе

 


Разработка сценарных шкал для измерения психологических конструктов: социально-эмоциональные навыки и мотивация (25 мая 2020)

В докладе было рассказано про опыт разработки и апробации сценарных шкал для измерения психологических конструктов в образовательном контексте для учащихся 7–9 классов. По заказу МЦКО, сотрудниками Центра были разработаны сценарные шкалы, измеряющие экстраверсию, эмоциональную стабильность, сознательность и внешнюю учебную мотивацию. В докладе был описан весь процесс их разработки: от выбора теоретической модели до результатов апробации, и отдельно остановимся на аспектах формулировки сценариев для психологических конструктов.

Докладчики: Екатерина Орел, научный сотрудник Центра психометрики и измерений в образовании, Леонид Пармаксиз, стажер-исследователь Центра психометрики и измерений в образовании

 


Анализ взаимодействий в психометрике (18 мая 2020)

В докладе рассматривались психометрические модели, построенные на анализе цепочки взаимодействий. Сначала были рассмотрены интеллектуальные агенты, в которых используется математический аппарат теории принятия решений. Затем была рассмотрена графовидная модель оценивания латентных характеристик респондентов с помощью диалоговых тренажеров. В рамках этого подхода предлагается исследовать вопрос, как связана точность оценивания в зависимости от характеристик сценарного мультиграфа (паттерн-дизайна). Третья часть доклада была посвящена анализу адаптивного алгоритма на основе правил и были предложены новые идеи для развития этой работы. Заключительная часть доклада была посвящена динамическим моделям, когда измеряемый конструкт изменяется в процессе измерения.

Докладчик: Максим Скрябин, ведущий аналитик Центра психометрики и измерений в образовании

Презентация доклада: Анализ взаимодействий в психометрике

 


Разработка инструмента оценки психологической готовности студентов к педагогической деятельности (20 апреля 2020)

Доклад посвящен разработке инструмента оценки психологической готовности студента к педагогической деятельности. В ходе разработки инструмента был подобран ряд оригинальных методик, диагностирующих компоненты психологической готовности студента к педагогической деятельности, произведен перевод и адаптация ряда методик на русский язык. Также был произведен полный цикл адаптации на казахский язык при помощи использования двух независимых переводов и итогового реконсилиаторского перевода (перевод при участии лиц владеющих обоими языками).

Инструмент был апробирован среди студентов России и Казахстана. Результаты апробации проанализированы при помощи методов классической тестовой теории и IRT (Item Response Theory), разработаны процедуры шкалирования результатов и выработана процедура подсчета индекса, репрезентирующего психологическую готовность студента к педагогической деятельности.

Докладчик: Андрей Самодерженков, стажер-исследователь Центра психометрики и измерений в образовании

Презентация доклада: Разработка инструмента оценки психологической готовности студентов к педагогической деятельности 

 


Инструмент по измерению цифровой грамотности (13 апреля 2020) 

Выступление было посвящено разработанному в ЛИНКиДТ инструменту измерения цифровой грамотности DIGLIT. Инструмент разработан на основе метода доказательной аргументации (ECD) и имеет компьютерную форму. Рассчитан на проведение тестирования на станционарных компьютерах или ноутбуках. Контекст заданий (сценарного типа) воспроизводит ситуации из жизни населения в условиях цифровой экономики, максимально приближенные к повседневной жизни, содержащие в себе задачу, которую надо решить, используя широкий спектр эмуляторов цифровых технологий.

Докладчики: Светлана Авдеева, заведующая Лабораторией измерения новых конструктов и дизайна тестов, Ксения Тарасова, аналитик Лаборатории измерения новых конструктов и дизайна тестов

Презентация доклада: Инструмент оценки цифровой грамотности DIGLIT 

 


Исследование когнитивных предикторов математических достижений (2 марта 2020)

Среди когнитивных предикторов математических достижений в начальной школе в первую очередь выделяют навыки работы с несимволической (набор объектов) и символической (цифры и числовые слова) репрезентации количества. В докладе рассмотрено, как измерять точность обработки числовой информации у учащихся и как этот навык связан с достижениями по математике в первом классе, на данных теста СТАРТ.

Докладчики: Юлия Кузьмина, научный сотрудник Центра психометрики и измерений в образовании, Галина Ларина, научный сотрудник Центра психометрики и измерений в образовании

 


Измерение субъективного благополучия в школе (17 февраля 2020)

Развитие субъективное благополучие считается одной из главных целей современного образования. Данное исследование направлено на изучение мультикомпонентной модели субъективного благополучия в начальной школе. Теоретическая модель включает (1) когнитивное удовлетворение школой, (2) эмоциональное отношение к школе, (3) сотрудничество, (4) враждебность в отношении с одноклассниками и (5) физическое благополучие. Цель данного исследования заключается в изучении того, могут ли эти компоненты быть описаны единым фактором субъективного благополучия в начальной школе. Выборке 1704 третьеклассников (средний возраст 8.89 лет; стандартное отклонение 0.4; 48.4% девочек) был предъявлен опросник, основанный на описанной теоретической структуре. Психометрический анализ был сконцентрирован на изучении внутренней структуры опросника на основании собранных данных. Анализ проводился в парадигме многомерного Раш-моделирования. Мы использовали многомерную

Раш-модель без общего фактора, ортогональную бифакторную Раш-модели и две косоугольных бифакторных Раш-модели. Две модели подошли данным лучше всего: многомерная Раш-модель без общего фактора и бифакторная Раш-модель, в которой специфические факторы могут коррелировать с общим фактором (Extended Rasch Testlet model, ETM). Результаты показывают, что общий фактор субъективного благополучия в начальной школе может быть извлечен, используя ETM. Тем не менее, ETM предотвращает надежное использование баллов по субшкалам. Для получения более детальной информации по субшкалам возможно использовать многомерную модель без общего фактора. Опросник, предложенный на основе мультикомпонентной модели субъективного благополучия, может использоваться в мониторинговых целях.

Докладчики: Татьяна Канонир, доцент Института образования, Денис Федерякин, стажер-исследователь Центра психометрики и измерений в образовании, Ирина Угланова, стажер-исследователь Центра психометрики и измерений в образовании

 


Измерение навыков смыслового чтения у детей: теоретические подходы, инструменты, перспективы (29 января 2020)

На семинаре ЦПИО, посвященном инструментам для измерения навыков чтения, были рассмотрены популярные теоретические рамки и инструменты для оценивания навыков смыслового чтения. Мы показали, каким образом тесты "Старт" и "Прогресс" позволяют оценить функциональную грамотность в области чтения, и какую информацию результаты такого оценивания могут дать школам, родителям и системам образования. 

Докладчик: Инна Антипкина, научный сотрудник Центра психометрики и измерений в образовании, Марина Кузнецова, ведущий эксперт Центра психометрики и измерений в образовании

Презентация доклада: Измерение навыков смыслового чтения у детей: теоретические подходы, инструменты, перспективы

 


Инструмент 4К (25 декабря 2019)

На семинаре были представлены результаты работы проекта 4К. Обсуждалась теоретическая рамка инструмента, особенности разработки заданий сценарного типа. Были представлены результаты исследования. Более полные результаты представлены в материалах внешнего семинара Института образования.

Докладчики: Ирина Брун, заместитель заведующего лабораторией измерения новых конструктов и дизайна тестов, Ирина Угланова, стажер-исследователь Центра психометрики и измерений в образовании, Екатерина Александрова, аналитик Центра психометрики и измерений в образовании

Презентация докладаИнструмент 4К 


 

Нашли опечатку?
Выделите её, нажмите Ctrl+Enter и отправьте нам уведомление. Спасибо за участие!
Сервис предназначен только для отправки сообщений об орфографических и пунктуационных ошибках.