Семинар «Измерения в психологии и образовании»
Семинар Центра психометрики и измерений в образовании посвящен обсуждению современных подходов в разработке измерительных инструментов и психометрических исследованиях. Участниками семинара являются сотрудники Центра и приглашенные эксперты. Руководитель семинара – Дарья Грачева.
На семинаре происходит обсуждение статей в процессе публикации и уже опубликованных научных статей, репетиции докладов перед конференциями (например, AEA-Europe или IMPS), а также генерация идей и запрос экспертизы для будущих научных исследований.
Прошедшие семинары
Математическая тревожность и математические способности (10 апреля 2023 года)
Не секрет, что многие школьники боятся математики, как огня. Страшно выйти к доске и решить пример, домашнее задание хочется списать с ГДЗ, а от мысли о приближающемся ЕГЭ по предмету бросает в дрожь. В психологии есть специальный термин, обозначающий переживание негативных эмоций при столкновении с математическими задачами – математическая тревожность. Во время доклада поговорим о том, как можно измерить математическую тревожность, как она связана с математическими способностями и работой нашего мозга. Во второй части доклада обсудим процесс проведения междисциплинарного исследования в сфере математической тревожности и математических способностей: как происходит диалог со школой, как дети реагируют на исследование, какие вопросы у них возникают.
Докладчики: Анна Павлова - стажер-исследователь в научно-учебной лаборатории нейробиологических основ когнитивного развития
Разработка инструмента измерения правовой грамотности (20 февраля 2023 года)
Обсуждались разработка и апробация инструментов оценки, которые были специально созданы для курса «Правовая грамотность». Рассмотрены два инструмента оценки: кейс-тесты правовой грамотности и итоговый экзамен. Было проанализировано использование кейс-тестов как способа повышения мотивации студентов, а также процедура проведения итогового экзамена с прокторингом.
Докладчики: Марина Сергеевна Петракова, преподаватель Факультета права ВШЭ, Ирина Ковальчук, студентка 2 курса магистерской программы SOLA
Процедура клонирования заданий сценарного типа (23 ноября 2022)
Популярность заданий сценарного типа в образовании приводит к необходимости создания взаимозаменяемых вариантов сценариев. Решение этой задачи возможно с использованием процедуры клонирования. Клонирование - это подход разработки заданий, предполагающий создание максимально похожих заданий с едиными психометрическими характеристиками. В докладе рассматриваются особенности клонирования заданий сценарного типа в компьютерной форме для измерений универсальных компетенций, а также описывается процедура клонирования и основные проблемы клонирования заданий сценарного типа.
Докладчики: Дарья Грачева, стажер-исследователь Центра психометрики и измерений в образовании, Ксения Тарасова, заместитель заведующего Лаборатории измерения новых конструктов и дизайна тестов
Презентация: Процедура клонирования заданий сценарного типа
How Students Behave while Solving Critical Thinking Tasks in an Unconstrained Online Environment: Insights from Process Mining (31 октября 2022)
The internet has become ubiquitous in university life (Weber et al. 2019). In the 21s century, it has become more popular to search data online rather than to use textbooks or other printed resources (Hargittai et al. 2010). This is why Critical Online Reasoning (COR) is crucial for students on various levels of education. The implications of Critical Thinking (CT) to the online environment is a relatively new area of study, where the research performed by R. Shavelson and O. Zlatkin-Troichanskaya can be singled out (Shavelson et al., 2019). In this study, we would like to study the importance of understanding the behavioural and process patterns that students undergo while exploiting COR, since they reveal students’ strategies and provide a clearer view on the process (Kerr et al., 2016).
Докладчик: Анастасия Беляева, стажер-исследователь Центра психометрики и измерений в образовании, аспирант Института Образования
Презентация: How Students Behave while Solving Critical Thinking Tasks
Ограничения использования машинного обучения и нейронных сетей при диагностике креативности (17 октября 2022)
Доклад раскрывает общие положения об ограничениях использования машинного обучения и нейронных сетей при диагностике креативности, а также содержит анализ статьи об оценивании креативности на основе анализа изображений с помощью нейронных сетей, опубликованной сотрудниками Центра психометрики и измерений в образовании. Выявленные ограничения приводят к выводу, что возможности машинного обучения для анализа изображений без привлечения экспертов в образовательном тестировании рискуют оказаться сильно преувеличенными.
Докладчик: Поддьяков Александр Николаевич - доктор психологических наук, профессор факультета социальных наук
Применение IRT для ипсативных опросников (18 июля 2022)
Семинар посвящен работе с ипсативными опросниками. Представлены преимущества и недостатки ипсативных опросников. Рассматривается проблема социальной желательности в организационном контексте и методы работы с социальной желательностью. В рамках доклада мы расскажем об опыте ЭКОПСИ в применении моделей современной теории тестирования - TIRT и MUPP - к ипсативным опросникам и обсудим ограничения этих моделей.
Докладчики: Юрий Шатров, Александр Севостьянов, ЭКОПСИ
Презентация: IRT для ипсативных опросников
Сегодня популярными становятся форматы заданий, где тестируемые могут продемонстрировать уровень владения навыком через наблюдаемое поведение в заранее установленной ситуации. К таким форматам относятся задания сценарного типа. При этом мало внимания уделяется возможности разработки вариантов таких заданий. В рамках диссертационного исследования поставлены следующие вопросы: какие методы проверки сопоставимости применимы для заданий сценарного типа и какие источники несопоставимости характерны для таких заданий?
Докладчик: Дарья Грачева, стажер-исследователь Центра психометрики и измерений в образовании, аспирант Института Образования
Исследование влияния геймификации на практико-ориентированный учебный процесс в цифровой среде (30 мая 2022)
В данном докладе приводятся последние исследования в области геймификации обучения, обозначается её роль среди смежные областей, таких как образовательные игры, серьезные игры или подходе обучения на основе игр (Game Based Learning). Целью данного диссертационного исследования является понимание зависимости применяемых игровых методов и показателей, влияющих на образовательный результат, в рамках практико-ориентированного процесса обучения.
Докладчик: Михаил Болтышев, аспирант Института Образования
Презентация: Исследование влияния геймификации на учебный процесс
Все, что вы хотели знать об инструменте «4К», но боялись спросить (21 марта 2022)
В докладе мы расскажем о нашем опыте создания заданий сценарного типа в логике доказательного подхода (Evidence-centered design) - подробно рассмотрим особенности инструмента измерения навыков 21 века “4К”. Мы представим основные этапы разработки игровых заданий сценарного типа; расскажем о специфике психометрической обработки результатов, уточним особенности сборки теста и предоставления автоматической обратной связи с применением продвинутых психометрических методов. Мы сфокусируемся на описании проблем, с которыми сталкиваются исследователи при работе с заданиями сложного формата, и честно расскажем о наших достижениях и трудностях. Мы приглашаем всех заинтересованных в измерении сложных навыков принять участие в нашем докладе - узнать о наших идеях и поделиться своими рассуждениями.
Докладчики: Ирина Угланова, научный сотрудник Центра психометрики и измерений в образовании, Дарья Грачева, стажер-исследователь Центра психометрики и измерений в образовании, Сергей Тарасов, стажер-исследователь Центра психометрики и измерений в образовании.
Презентация: Инструмент 4К
Использование ипсативных данных для оценки мотиваторов и демотиваторов сотрудников: амбициозно, но трудно (31 января 2022)
В рамках доклада будет обсуждаться разработка инструмента оценивания мотиваторов и демотиваторов сотрудников в формате ипсативного опросника. В презентации будут представлены все этапы создания инструмента: теоретическая рамка, этапы разработки и особенности психометрического анализа.
В рамках семинара обсудим особенности создания ипсативного опросника и современные подходы к его обработке с помощью современной теории тестирования. В том числе разберём структуру и особенности применения моделей для ипсативных данных, а также трудности подтверждения факторной структуры ипсативных опросников с помощью этих моделей.
Докладчики: Екатерина Орел, старший научный сотрудник Центра психометрики и измерений в образовании, Алена Куликова, научный сотрудник Центра психометрики и измерений в образовании, Денис Федерякин, младший научный сотрудник Центра психометрики и измерений в образовании
Презентация: Использование ипсативных опросников
История архитектуры в советском высшем архитектурном образовании в 1930-е годы (22 ноября 2021)
На примере курса по истории архитектуры для архитекторов я расскажу, как было устроено архитектурное образование в СССР в 1930-х годах, как на него повлияли социальные и политические события этого периода и какую роль в системе архитектурного образование играло профессиональное сообщество архитекторов.
Докладчик: Екатерина Орел, старший научный сотрудник Центра психометрики и измерений в образовании
Презентация доклада: История архитектуры в советском высшем архитектурном образовании в 1930-е годы
Оценки и истинные значения параметров: методологическая корректность применения многоступенчатого и одноступенчатого анализа (15 ноября 2021)
Множество моделей современной теории тестирования (латентная регрессия) и факторного анализа (MIMIC-модели) разработаны с целью анализировать взаимосвязи ненаблюдаемых переменных с наблюдаемыми, избегая оценки значений ненаблюдаемых переменных. Это связано со систематическими смещениями в оценках параметров, которые возникают из-за того, что все методы оценки параметров работают аппроксиматически. Соответственно, эти смещения могут повлиять на оценку размера эффекта взаимосвязи. Более того, такая методика обработки данных приводит к игнорированию стандартных ошибок и анализа оценок параметров как их истинных значений, что приводит к проблемам в оценках статистической значимости. В этой презентации на симулированных данных показывается важность корректной обработки данных тестирования с использованием одноступенчатого метода, который позволяет избежать смещений в оценках параметров. Также, проводится обсуждение использования Plausible Values для того, чтобы решить эту же проблему, но с использованием двухэтапной оценки.
Докладчик: Денис Федерякин, младший научный сотрудник Центра психометрики и измерений в образовании
Psychometric Analysis of Group Collaborative Behaviours (11 октября 2021)
Part 1 of the presentation presents technical details of Dr Jamie Costley’s presentation of our article on collaborative note-taking behaviors on Google docs and effects on student note-taking completeness and performance. Part 2 provides an illustration of an R Shiny app that Dr Courtney and colleagues built to make sense of test data. The app automates CTT and Rasch modelling and various other procedures.
Докладчик: Matthew Courtney, an Assistant Professor at Nazarbayev University, Kazakhstan
Презентация: Psychometric Analysis of Group Collaborative Behaviours
How the relationships between collaborative note-taking behaviors, completeness, and performance change over a 10-week course (27 сентября 2021)
This study examines the effects that online collaborative note-taking has on students retention of information in the form of their quiz performance. The study draws on 10 weeks of logged online activity data from 273 university students forming 61 groups. Group and individual learning were assessed weekly evaluating the quality of their collaborative note-taking documents (using rubrics) and subsequent individual end-of-weekly-unit tests (via MCQs). Results from a series of 10 multilevel mediation models suggested no substantive effects in the first half of the 10-week course, though in the second half of the course, groups that co-created more complete course notes tended to exhibit improved average test scores, with completeness of group notes explaining up to 47% of the variance in group average test performance. The results of the present study suggest that the learning advantages afforded to student groups that produce more complete course notes may be delayed. Our findings add to the growing body of research viz-a-viz the effects that online group collaboration has on student learning. Implications for project design, use of open-source software, implications, and possible future directions are also discussed.
Докладчик: Jamie Costley
Презентация доклада: The role of online collaborative note-taking behaviors, note completeness, and course performance
Машинное обучение в системах адаптивного обучения на примере тренажера по математике Plario.ru (12 июля 2021)
Адаптивный подход к обучению считается одним из самых эффективных: постоянная обратная связь в период обучения позволяет настроить технологию подачи контента для освоения учебного материала оптимальным для каждого слушателя образом, а также сократить при необходимости время обучения. Презентация знакомит участников с передовым опытом создания систем адаптивного обучения с применением сквозных технологий, а именно онтологий знаний предметной области и алгоритмов машинного обучения, ограничениях использования технологий Машинного обучения на малом количестве исторических данных. В дискуссии обсуждаются вопросы кастомизации алгоритмов BKT (Bayesian Knowledge Tracing) для применения в реальном процессе обучения, возможности аугментации контента, целесообразность внедрения открытых ответов и другие.
Докладчики: Дмитрий Бубнов
Презентация доклада: Машинное обучение в системах адаптивного обучения на примере тренажера по математике Plario.ru
О подходах к мотивации школьников к освоению компетенций, необходимых жителю современного мегаполиса (7 июня 2021)
Дискуссия о подходах к мотивации школьников к освоению компетенций, необходимых жителю современного мегаполиса. В качестве примеров таких подходов разобраны несколько онлайн-олимпиад, проводимых ЦПМ, а также различного вида задания из курсов по функциональной грамотности. Разобран цикл создания заданий и анализ результатов прохождения олимпиад. Также онлайн-олимпиады рассмотрены, как инструмент апробации и продвижения нового содержания образования.
Докладчики: Арсений Трунин, Ященко Иван Валерьевич
Презентация доклада: О подходах к мотивации школьников к освоению компетенций, необходимых жителю современного мегаполиса
Making sense of process data from educational assessments (26 апреля 2021)
Process data retrieved from computer-administered tests come with great potential for understanding how subjects interact with the items administered. Such improved understanding can assist in test construction, improve the validity of conclusions, and allows for richer reporting of results. To showcase this potential, I will present and illustrate two recently developed approaches. The first approach is a model-based approach for response time. Using this additional information for identifying disengaged test-taking behavior in terms of both rapid guessing and omitting, this approach illustrates how subject-matter theory on response behavior can be translated into psychometric models. The second approach is an exploratory approach to time-stamped action sequences from interactive tasks. Combining tools from clickstream analysis and graph-based data clustering, this approach requires a minimum amount of theoretical presumptions on test-taking behavior and supports rich descriptions of differences in behavioral patterns, described in terms of both the type and order of performed actions as well as the time elapsed in between. Insights that can be gained on the basis of these approaches are illustrated on data from PISA and PIAAC.
Докладчики: Esther Ulitzsch, Research Associate at the Leibniz Institute for Science and Mathematics Education, Kiel, Germany.
Item Response Tree Models (19 апреля 2021)
Древовидные модели современной теории тестирования (Item Response Tree models, IRTrees) с момента их предложения (2011 год) завоевали огромную популярность для изучения стилей ответов респондентов в шкалах Ликерта. Однако, они могут применяться для любых других предварительно классифицированных ответов - будь то потенциально угаданные ответы, быстрый или медленный процесс ответа, или пропущенные ответы. Презентация направлена на то, чтобы показать, как IRTree модели вписываются в таксономию политомических моделей современной теории тестирования, какие данные может обрабатывать, обсуждает отдельные ограничения этих моделей, а также детали оценки их параметров.
Докладчики: Денис Федерякин, младший научный сотрудник Центра психометрики и измерений в образовании
Презентация доклада: Item Response Tree Models
Связь между ожиданиями учителей и академическими достижениями детей в первом классе (5 апреля 2021)
Существует большое число исследований о связи между учительскими ожиданиями и академическими результатами детей как на индивидуальном уровне, так и на групповом уровне. При исследовании эффектов учителей не групповом уровне рассматривают группы, выделенные только по одной характеристике: академические результаты, например, по математике или чтению, социально-экономический статус семьи, этническая принадлежность и другое. Однако, ряд исследований показывает, что учителя формируют свои ожидания, основываясь как на академических достижениях, так и на социально-эмоциональных характеристиках ученика (например, поведение в школе). При этом, эффекты учительских ожиданий на академические достижения детей, различающихся по уровню когнитивного и социально-эмоционального развития, практически отсутствуют. Данное исследование направлено на изучение связи между учительскими ожиданиями и академическими результатами по чтению и математике детей начальной школы, различающихся по уровням когнитивного и социально-эмоционального развития.
Докладчик: Элен Абдурахманова, стажер-исследователь Центра психометрики и измерений в образовании
Академические достижения детей с поведенческими проблемами в начальной школе: роль учительских практик и ожиданий (15 марта 2021)
Поведенческие проблемы с невнимательностью и гиперактивностью являются одной из наиболее распространённых причин снижения успеваемости у младших школьников. Методы помощи включают в себя организацию отдельных классов, бихевиоральную терапию и применение медикаментов, но не исчерпываются ими: учителя и их особенности, важная составляющая школьной среды, также могут способствовать или препятствовать успешному обучению невнимательных и гиперактивных детей. Данное исследование ставит вопрос о том, какую роль в академических достижениях детей с поведенческими проблемами играют применение педагогом специфических практик работы с классом, а также его ожидания от учащихся.
Докладчик: Илья Денисов, стажер-исследователь Центра психометрики и измерений в образовании
Do Engaged Students with School Perform Better? Findings from Russian Students and Russian Teachers (15 февраля 2021)
Engaged students are more likely to invest in learning and gain higher academic scores. Many studies examine school engagements through the lens of either the children or the teachers. Research on shared understanding of school engagement among children and teachers is less well understood. We examined school engagement and academic performance using a student-teacher shared perception paradigm. Russian school-aged children (n = 133) between 6 and 12 years and their teachers participated in the study. Students were asked to complete a validated school engagement scale, which measures emotional, behavioral and cognitive components of school engagement. Teachers were asked to complete an adapted school engagement scale that evaluates the same three components. Academic performance for mathematics, science, language and reading was reported by the teachers. Statistical analyses showed that both overall school engagement rated by teachers and students significantly predicted the academic performance. Teachers’ assessment of cognitive engagement of students was found to be the strongest antecedent of academic performance in mathematics and reading, whereas students’ assessment of behavioral engagement was the strongest predictor of academic performance in science and language. Teachers and students value different components of school engagement, depending on the school subject, whereas shared perception on emotional component appeared to be a more reliable predictor of academic performance. Practical and theoretical implications are discussed.
Докладчик: Чархаби Мортеза, доцент Института образования НИУ ВШЭ
Методология Evidence-Centered Design: концептуальные основы и примеры применения (25 января 2021)
Вызовы современного мира ставят новые практические и исследовательские задачи в области тестирования. Все большее внимание уделяется измерению сложных конструктов: критическое мышление, креативность, цифровая грамотность и т.п. Для измерения таких конструктов стандартные подходы к разработке инструментов оценивания не подходят. Метод доказательной аргументации (Evidence-Centered Design) – алгоритм проектирования, который основывается на принципах формальной логики, выстраивая систему аргументации от действий респондента в процессе решения заданий к выводу о сформированности компетенции (измеряемого конструкта). Знакомство с новой методологией разработки тестов даст исследователям возможность более гибко выстраивать процесс разработки теста и подбирать подходящие методологические приемы под свои цели и задачи.
Докладчик: Ксения Тарасова, заместитель заведующего Лаборатории измерения новых конструктов и дизайна тестов
Презентация доклада: Методология Evidence-Centered Design: концептуальные основы и примеры применения
130 лет психометрике: от науки о тестах знаний к вычислительной науке о поведении (23 ноября 2020)
Психометрика, наука о психологических и педагогических измерениях, отметила (и продолжает отмечать) 130-летие. За это время из науки, основным подходом которой был подсчет правильных ответов на тестовые задания, психометрика превратилась в сложную междисциплинарную область знания на стыке психологии, педагогики, математической статистики, науки о данных и машинного обучения. На лекции мы познакомимся с историей развития психометрики, задачами, которые решала и решает эта наука, ее достижениями последних лет и перспективными областями для новых исследований.
Докладчик: Дмитрий Аббакумов, доктор наук об образовании (PhD KU Leuven in Educational Sciences), руководитель Центра вычислительных наук об образовании НИУ ВШЭ.
Презентация доклада: 130 лет психометрике: от науки о тестах знаний к вычислительной науке о поведении
Анализ изображений в образовательном тестировании с помощью машинного обучения (16 ноября 2020)
В докладе продемонстрированы возможности машинного обучения для анализа изображений в образовательном тестировании по данным инструмента «4К» на примере навыка креативности. Применение психометрического анализа данных в методологии латентного классового анализа (Latent Class Analysis, LCA) позволило получить разметку для обучения нейронной сети без привлечения экспертов. Высокая точность предсказаний сети для идентификации креативности изображений позволяет говорить о масштабных перспективах машинного обучения для оценки сложных образовательных и психологических характеристик.
Докладчики: Ирина Угланова, младший научный сотрудник Центра психометрики и измерений в образовании, Евгений Гельвер, аналитик Центра психометрики и измерений в образовании, Сергей Тарасов, стажер-исследователь Центра психометрики и измерений в образовании, Дарья Грачева, стажер-исследователь Центра психометрики и измерений в образовании, Елена Вырва, стажер-исследователь Центра психометрики и измерений в образовании
Презентация доклада: Анализ изображений в образовательном тестировании с помощью машинного обучения
Педагогический дизайн образовательных игр (26 октября 2020)
Разработка образовательных и оценивающих игр - одна из стремительно развивающихся отраслей в мире (Metaari, 2019). Этот доклад - экспресс-погружение в область образовательных игр, в котором освещены базовые вопросы дизайна образовательных игр на основе 2-х летних исследований и опыта разработки образовательных игр. В докладе кратко представлен экскурс по ключевым понятиям и терминам, описаны верхнеуровнево составляющие игр с точки зрения разработчиков, основные вопросы и разработанная автором рамка педагогического дизайна в игровых средах, а также развитие подходов оценивания на основе игр (Game Based Assessment).
Докладчик: Марина Щербакова, аналитик Лаборатории измерения новых конструктов и дизайна тестов
Презентация доклада: Педагогический дизайн образовательных игр
Запись семинара доступна по ссылке.
Оценивание открытых заданий в тесте смыслового чтения (5 октября 2020)
В исследовании проанализированы типичные паттерны ответов детей на вопросы в тесте смыслового чтения с форматом выделения ответа в тексте и проведена статистическая верификация определенных экспертами правил начисления баллов за выполнение компьютеризированных заданий. Показано, что паттерны ответов не организованы в соответствии с таксономией когнитивных процессов, а также, что дети демонстрируют разнообразие паттернов.
Докладчики: Инна Антипкина, научный сотрудник Центра психометрики и измерений в образовании, Ольга Соболева, стажер-исследователь Центра психометрики и измерений в образовании
Презентация доклада: Оценивание открытых заданий в тесте смыслового чтения
Коллатеральная информация в психометрике (28 сентября 2020)
В данном докладе проводится разграничение психометрической целевой и коллатеральной информации, получаемой во время компьютерного тестирования. Вводится классификация источников коллатеральной информации на основе того, какую информацию они описывают – респондентов, задания или их взаимодействие. Описываются тонкости интерпретации психометрических моделей, предназначенных для обработки коллатеральной информации. Также, рассматриваются примеры анализа коллатеральной информации на данных проектов центра.
Докладчики: Денис Федерякин, стажер-исследователь Центра психометрики и измерений в образовании, Ирина Угланова, стажер-исследователь Центра психометрики и измерений в образовании
Презентация доклада: Коллатеральная информация в психометрике
Запись семинара доступна по ссылке.
Результаты мониторинга ИК-компетентности выпускников основной школы (14 сентября 2020)
Умение работать с информацией в цифровой среде играет ключевую роль в развитии и успешности выпускника основной школы, вот почему информационно-коммуникационная компетентность (ИК-компетентность) входит практически во все мировые рамки навыков 21 века. ИК-компетентность сложный латентный конструкт, для измерения которого был разработан специальный инструмент, качество которого было подтверждено на результатах исследований в школах РФ и ряде других стран. Данный инструмент был использован для федерального мониторинга ИК-компетентности в рамках ФП ЦОС. В данном выступлении будут представлены результаты «первой волны» мониторинга в 11 регионах РФ и факторы, связанные с формированием ИК-компетентности 14-летних учащихся.
Докладчики: Светлана Авдеева, заведующая Лабораторией измерения новых конструктов и дизайна тестов, Ксения Тарасова, аналитик Лаборатории измерения новых конструктов и дизайна тестов
Презентация доклада: Результаты мониторинга ИК-компетентности выпускников основной школы
Измерение базовой математической грамотности в начальной школе (6 июля 2020)
Математическая грамотность играет ключевое знание в повседневной жизни, однако измерение этого конструкта затруднено в силу его многокомпонентности, а также частой нагруженности заданий текстовой информацией. В докладе будут представлены результаты проверки и обоснования различных подходов к психометрическому моделированию теста, направленного на измерение математической грамотности, на примере инструмента PROGRESS-ML для учащихся 3-го класса.
Докладчики: Елена Карданова, директор Центра психометрики и измерений в образовании, Галина Ларина, научный сотрудник Центра психометрики и измерений в образовании, Денис Федерякин, стажер-исследователь Центра психометрики и измерений в образовании
Презентация доклада: Измерение базовой математической грамотности в начальной школе
Копинг-стратегии учителей в условиях стресса (29 июня 2020)
На семинаре были представлены результаты исследования особенностей психологического стресса у учителей в ситуации дистанционного преподавания во время пандемии COVID-2019. Его целью было описать факторы возникновения стресса и стратегии совладания с ним с помощью качественной методологии – полу-структурированного интервью с последующим контент-анализом. Выборка составила 13 учителей из различных регионов России, а также одной билингвальной берлинской школы. Результаты планируется опубликовать в ближайшее время в отечественном рецензируемом журнале.
Rasch models with time-parameters within B-GLIRT (22 июня 2020)
Фреймворк двумерной обобщенной линейной современной теории тестирования (Bivariate Generalized Linear Item Response Theory, B-GLIRT) является мощным обобщением большого количества моделей современной теории тестирования для одновременного моделирования времени и правильности ответов. Этот фреймворк позволяет описать различия между респондентами и заданиями с точки зрения двух групп ненаблюдаемых параметров - параметров, определяющих вероятность правильного ответа (как минимум, трудность задания и способность респондента) и наблюдаемое время, за которое был дан ответ (как минимум, временная трудозатрадность заданий и "быстрота" (speediness) респондентов). Тем не менее, большинство моделей, которые можно вписать в этот фреймворк, используют ограничение пропорциональности (proportionality constraint) на факторные нагрузки, отражающие допущение о том, что весь тест состоит из заданий, имеющих относительно гомогенную связь между временем, потраченным на решение, и правильностью ответа. Это ограничение позволяет описать корреляцию между быстротой и способностью респондентов. Однако в случае использования Раш-моделирования для наблюдаемых ответов и модели без ограничения пропорциональности для наблюдаемого времени ответов, B-GLIRT фреймворк вынуждает отбросить параметры корреляции быстроты и способности респондентов. Данное исследование описывает, как ведут себя Раш-модели из B-GLIRT фреймворка в случае, когда корреляция параметров респондентов модельно зафиксирована к нулю. Результаты показывают, что оценка способности респондентов (и аналогичные параметры заданий) оказываются несмещенными в любом случае. В то же время, в параметры быстроты респондентов могут быть существенно смещены относительно истинных значений в случае больших значений корреляций между истинными способностью и быстротой.
Докладчик: Денис Федерякин, стажер-исследователь Центра психометрики и измерений в образовании
Презентация доклада: Rasch models with time-parameters within B-GLIRT
Источники локальной зависимости в заданиях сценарного типа (22 июня 2020)
Подходящим форматом для измерения сложных конструктов выступают задания сценарного типа. Гибкость таких заданий дает плодотворную среду для моделирования сложных отношений между латентными конструктами. В данном исследовании изучалась специфика сценария для измерения критического мышления в 4 классе. Сценарий состоит из двух частей: сначала ученики анализируют предоставленный текст; а затем, предположительно, на основе проанализированной информации они работают в компьютерной симуляции определенной среды. Цель исследования - выяснить, помогает ли зависимость между наблюдаемыми показателями в двух частях сценария представить взаимосвязь между составляющими латентного конструкта.
В качестве модели измерения использовалась байесовская сеть (Almond et al., 2015). Были исследованы и сопоставлены четыре модели: модель с мягкими (I) и строгими (II) пререквизитными отношениями между конструктами (Levy & Mislevy, 2004); (III) модель, в которой наблюдаемые переменные были непосредственно связаны между собой и (IV) модель с дополнительными переменными контекста для пар индикаторов. Для проведения анализа качества модели была применена методология Posterior Predictive Model Checking. Качество модели оценивалось исходя из соблюдения строгих пререквизитных отношений и величины локальной зависимости индикаторов.
Полученные результаты:
а) уточняют внутреннюю структуру данных и отвечают на вопрос о природе связи латентных конструктов;
б) устанавливают природу локальной зависимости между индикаторами в двух частях сценария.
Докладчик: Ирина Угланова, стажер-исследователь Центра психометрики и измерений в образовании
Использование моделей попарного сравнения рейтинговых данных для решения задачи непрямого сопоставления данных тестирования (15 июня 2020)
Целью данной работы является разведывательный анализ возможностей проведения международного сопоставительного исследования результатов оценивания раннего навыка чтения детей в начале обучения в школе для стран с различными языком, культурой, возрастом начала школьного обучения. Мы пытаемся изучить возможные способы сопоставления в условиях отсутствия общей метрической шкалы между оценками выборки детей из разных стран. Исследование включало использование метода попарных сравнений оценок экспертной панели, а также проверку возможности построения пороговых значений результатов тестирования с учетом результатов экспертной оценки. Данное разведывательное исследование проведено на примере данных и двух языковых версий инструмента iPIPS на репрезентативной выборке первоклассников из одного региона России и репрезентативной выборки учащихся из Шотландии.
Докладчик: Алина Иванова, научный сотрудник Центра психометрики и измерений в образовании
Лингвистическая оценка материалов для измерения и обучения в младшей школе (1 июня 2020)
Доклад посвящен методике лингвистической оценки учебных текстов. На примере учебников по русскому языку для младшей школы было показано, как с помощью инструментов компьютерной лингвистики измеряются такие параметры, как читабельность текстов учебника, актуальность лексики, входящей в учебник, и представленная в нем картина мира. Авторы доклада продемонстрировали дискуссионные результаты анализа учебника, которые требуют внимания и обсуждения в сообществе экспертов, методистов и преподавателей русского языка.
Докладчики: Мария Лебедева, ведущий научный сотрудник лаборатории когнитивных и лингвистических исследований Института Пушкина, Антонина Лапошина, специалист по компьютерной лингвистике лаборатории когнитивных и лингвистических исследований Института Пушкина
Презентация доклада: Лингвистическая оценка материалов для измерения и обучения в младшей школе
Разработка сценарных шкал для измерения психологических конструктов: социально-эмоциональные навыки и мотивация (25 мая 2020)
В докладе было рассказано про опыт разработки и апробации сценарных шкал для измерения психологических конструктов в образовательном контексте для учащихся 7–9 классов. По заказу МЦКО, сотрудниками Центра были разработаны сценарные шкалы, измеряющие экстраверсию, эмоциональную стабильность, сознательность и внешнюю учебную мотивацию. В докладе был описан весь процесс их разработки: от выбора теоретической модели до результатов апробации, и отдельно остановимся на аспектах формулировки сценариев для психологических конструктов.
Докладчики: Екатерина Орел, научный сотрудник Центра психометрики и измерений в образовании, Леонид Пармаксиз, стажер-исследователь Центра психометрики и измерений в образовании
Анализ взаимодействий в психометрике (18 мая 2020)
В докладе рассматривались психометрические модели, построенные на анализе цепочки взаимодействий. Сначала были рассмотрены интеллектуальные агенты, в которых используется математический аппарат теории принятия решений. Затем была рассмотрена графовидная модель оценивания латентных характеристик респондентов с помощью диалоговых тренажеров. В рамках этого подхода предлагается исследовать вопрос, как связана точность оценивания в зависимости от характеристик сценарного мультиграфа (паттерн-дизайна). Третья часть доклада была посвящена анализу адаптивного алгоритма на основе правил и были предложены новые идеи для развития этой работы. Заключительная часть доклада была посвящена динамическим моделям, когда измеряемый конструкт изменяется в процессе измерения.
Докладчик: Максим Скрябин, ведущий аналитик Центра психометрики и измерений в образовании
Презентация доклада: Анализ взаимодействий в психометрике
Разработка инструмента оценки психологической готовности студентов к педагогической деятельности (20 апреля 2020)
Доклад посвящен разработке инструмента оценки психологической готовности студента к педагогической деятельности. В ходе разработки инструмента был подобран ряд оригинальных методик, диагностирующих компоненты психологической готовности студента к педагогической деятельности, произведен перевод и адаптация ряда методик на русский язык. Также был произведен полный цикл адаптации на казахский язык при помощи использования двух независимых переводов и итогового реконсилиаторского перевода (перевод при участии лиц владеющих обоими языками).
Инструмент был апробирован среди студентов России и Казахстана. Результаты апробации проанализированы при помощи методов классической тестовой теории и IRT (Item Response Theory), разработаны процедуры шкалирования результатов и выработана процедура подсчета индекса, репрезентирующего психологическую готовность студента к педагогической деятельности.
Докладчик: Андрей Самодерженков, стажер-исследователь Центра психометрики и измерений в образовании
Презентация доклада: Разработка инструмента оценки психологической готовности студентов к педагогической деятельности
Инструмент по измерению цифровой грамотности (13 апреля 2020)
Выступление было посвящено разработанному в ЛИНКиДТ инструменту измерения цифровой грамотности DIGLIT. Инструмент разработан на основе метода доказательной аргументации (ECD) и имеет компьютерную форму. Рассчитан на проведение тестирования на станционарных компьютерах или ноутбуках. Контекст заданий (сценарного типа) воспроизводит ситуации из жизни населения в условиях цифровой экономики, максимально приближенные к повседневной жизни, содержащие в себе задачу, которую надо решить, используя широкий спектр эмуляторов цифровых технологий.
Докладчики: Светлана Авдеева, заведующая Лабораторией измерения новых конструктов и дизайна тестов, Ксения Тарасова, аналитик Лаборатории измерения новых конструктов и дизайна тестов
Презентация доклада: Инструмент оценки цифровой грамотности DIGLIT
Исследование когнитивных предикторов математических достижений (2 марта 2020)
Среди когнитивных предикторов математических достижений в начальной школе в первую очередь выделяют навыки работы с несимволической (набор объектов) и символической (цифры и числовые слова) репрезентации количества. В докладе рассмотрено, как измерять точность обработки числовой информации у учащихся и как этот навык связан с достижениями по математике в первом классе, на данных теста СТАРТ.
Докладчики: Юлия Кузьмина, научный сотрудник Центра психометрики и измерений в образовании, Галина Ларина, научный сотрудник Центра психометрики и измерений в образовании
Измерение субъективного благополучия в школе (17 февраля 2020)
Развитие субъективное благополучие считается одной из главных целей современного образования. Данное исследование направлено на изучение мультикомпонентной модели субъективного благополучия в начальной школе. Теоретическая модель включает (1) когнитивное удовлетворение школой, (2) эмоциональное отношение к школе, (3) сотрудничество, (4) враждебность в отношении с одноклассниками и (5) физическое благополучие. Цель данного исследования заключается в изучении того, могут ли эти компоненты быть описаны единым фактором субъективного благополучия в начальной школе. Выборке 1704 третьеклассников (средний возраст 8.89 лет; стандартное отклонение 0.4; 48.4% девочек) был предъявлен опросник, основанный на описанной теоретической структуре. Психометрический анализ был сконцентрирован на изучении внутренней структуры опросника на основании собранных данных. Анализ проводился в парадигме многомерного Раш-моделирования. Мы использовали многомерную
Раш-модель без общего фактора, ортогональную бифакторную Раш-модели и две косоугольных бифакторных Раш-модели. Две модели подошли данным лучше всего: многомерная Раш-модель без общего фактора и бифакторная Раш-модель, в которой специфические факторы могут коррелировать с общим фактором (Extended Rasch Testlet model, ETM). Результаты показывают, что общий фактор субъективного благополучия в начальной школе может быть извлечен, используя ETM. Тем не менее, ETM предотвращает надежное использование баллов по субшкалам. Для получения более детальной информации по субшкалам возможно использовать многомерную модель без общего фактора. Опросник, предложенный на основе мультикомпонентной модели субъективного благополучия, может использоваться в мониторинговых целях.
Докладчики: Татьяна Канонир, доцент Института образования, Денис Федерякин, стажер-исследователь Центра психометрики и измерений в образовании, Ирина Угланова, стажер-исследователь Центра психометрики и измерений в образовании
Измерение навыков смыслового чтения у детей: теоретические подходы, инструменты, перспективы (29 января 2020)
На семинаре ЦПИО, посвященном инструментам для измерения навыков чтения, были рассмотрены популярные теоретические рамки и инструменты для оценивания навыков смыслового чтения. Мы показали, каким образом тесты "Старт" и "Прогресс" позволяют оценить функциональную грамотность в области чтения, и какую информацию результаты такого оценивания могут дать школам, родителям и системам образования.
Докладчик: Инна Антипкина, научный сотрудник Центра психометрики и измерений в образовании, Марина Кузнецова, ведущий эксперт Центра психометрики и измерений в образовании
Презентация доклада: Измерение навыков смыслового чтения у детей: теоретические подходы, инструменты, перспективы
Инструмент 4К (25 декабря 2019)
На семинаре были представлены результаты работы проекта 4К. Обсуждалась теоретическая рамка инструмента, особенности разработки заданий сценарного типа. Были представлены результаты исследования. Более полные результаты представлены в материалах внешнего семинара Института образования.
Докладчики: Ирина Брун, заместитель заведующего лабораторией измерения новых конструктов и дизайна тестов, Ирина Угланова, стажер-исследователь Центра психометрики и измерений в образовании, Екатерина Александрова, аналитик Центра психометрики и измерений в образовании
Презентация доклада: Инструмент 4К