«Надежность и валидность результатов – прежде всего»

На вторничном семинаре исследователи Института образования ВШЭ – Светлана Авдеева, Ирина Угланова и Дарья Грачева представили инструмент оценки универсальных компетенций 4К. Публикуем самое важное – методологию разработки и первые результаты.

Универсальные компетенции 4К привлекают внимание не только исследователей в сфере образования, но и международных организаций при разработке различных рамок навыков 21-го века. Например, с 2015-го года модель 4К входит в исследования PISA. 

При формировании и оценке навыков 21-го века, куда входят компетенции 4К, каждая организация разрабатывает свои понятия и определения для обозначения этих компетенций. Но прежде всего, инструменты оценивания нужны для того, чтобы понимать, на каком уровне формирования компетенций находятся учащиеся, и каким образом формировать их в дальнейшем. 

Инструмент, разработанный Центром психометрики и измерений в образовании

В качестве инструмента оценки формирования компетенций используются тестовые задания, разработанные по наиболее современной методологии оценки сложных конструктов – Evidence-Centered Design (ECD, Mislevy et.al., 2003) с соблюдением всех международных стандартов качества разработки тестов. Методология была разработана более 15 лет назад, и ряд стран и тестовых компаний уже работает по ней, однако в России инструмент, разработанный сотрудниками и экспертами Центра психометрики и измерений в образовании НИУ ВШЭ, является первым в своем роде. Тестирование проходит полностью в электронном формате и имеет современную компьютерную форму. 

При разработке данного инструмента ставились следующие задачи:

• Автоматическая обработка результатов без участия эксперта с сохранением валидности и надежности результатов;
• Измерение одним тестовым заданием сразу нескольких составляющих конструктов для более полной оценки компетенций учащихся в реальных жизненных ситуациях;
• Снижение стресса во время выполнения заданий за счет игровой формы тестов с учетом возраста учащихся. 

Методология теста

1. Моделирование области компетенций. На этом этапе происходит погружение в область или содержательную среду, в которой происходит оценивание компетенций, через интервью с экспертами, обзор литературы, беседы с представителями потенциальной целевой группы.
2. Моделирование конструктов. Систематизация и структурирование информации, полученной на первом этапе, и приведение конструкта к измеряемой форме для дальнейшей интерпретации. 
3. Моделирование заданий. Описание конкретных действий тестируемых, которые могут быть собраны и оценены в разных средах. 
4. Моделирования измерений и системы начисления баллов. 

Критическое мышление

Для оценки данного конструкта использовались два взаимосвязанных фактора: анализ (навыки работы с информацией в соответствии с поставленной задачей) и вывод (построение собственного вывода на основе проведенного анализа). 

Креативность

Наблюдаемое поведение при оценки креативности анализировалось также по двум факторам, заложенным в сценарий тестовых заданий – детальность (количество использованных элементов) и оригинальность (новизна идеи через расположение элементов). Однако составляющие креативности показывают невысокую корреляцию (до r = 0.26*) с составляющими критического мышления.

Коммуникация и кооперация

В разработанных сценариях тестирования покрыта только часть рамки, при этом, согласно количественному анализу коммуникация и кооперация оказываются очень тесно связаны. Сейчас перерабатываются сценарии с учетом расширенной рамки.

Первые результаты тестирования

На данный момент уже проведен ряд исследований разработанным инструментом оценки компетенций в российских школах, и есть первые результаты, которые подтверждают психометрическое качество инструмента. Был сделан контрольный срез в школах регионов России, а в конце учебного года в мае планируется повторно организовать тестирование и посмотреть, как изменился уровень формирования компетенций 4К учащихся за прошедший учебный год. 

Презентация доклада (PPTX, 109.85 Мб) 

Видео семинара