Методология

Для создания инструмента измерения ИК-компетентности  использовался систематический подход к разработке тестов (evidence centered design)—«набор взаимосвязанных процедур, призванных прояснить два вопроса: какие данные мы можем извлечь из  поведения тестируемого, которые бы стали свидетельством того, что тестируемый обладает или не обладает интересующими нас компетентностями? И каким образом мы можем создать ситуацию, которая помогла  бы в получении этих данных?» [Mislevy, Levy 2007]. 

ICL Test - первый инструмент в России, который создан в рамках этого подхода.

При этом разработка теста происходит «послойно»: она начинается с  набора очень общих идей (например, определений и составляющих) и заканчивается спецификацией теста (конкретными правилами его разработки).

В результате анализа и моделирования области компетенций была разработана концептуальная рамка инструмента, которая описывает измеряемые компетенции. Дано определение измеряемого конструкта (ИКК), определено количество уровней ИКК и  описано значение каждого из этих уровней. Выделены составляющие ИКК (семь субконструктов), прописаны параметры трех возможных уровней каждой из составляющих и их связь с уровнями общего конструкта. Задана теоретическая рамка теста через поиск в деятельности учащихся таких наборов действий (наблюдаемых переменных), которые могли  бы свидетельствовать о том или ином уровне каждой из семи отдельных компетенций—в соответствии с их определениями. Сами тестовые задания формируются на последнем этапе: на готовую структуру наблюдаемых переменных накладываются контекст, содержание и конкретный сценарий. 

Главное достоинство такого подхода —его систематичность, ясность и  обратимость логики. Разработчики всегда понимают, как конкретное свидетельство (наблюдаемая переменная) связано с измеряемым конструктом. Наличие такой связи само по себе является источником высокой конструктной валидности инструмента. Кроме того, такая логика разработки теста соответствует общей логике психометрического измерения—связи латентных переменных (ИКК и  ее составляющих) с наблюдаемыми переменными (свидетельствами). Единицей измерения, таким образом, является не тестовое задание, а наблюдаемая переменная, их может быть разное количество в разных заданиях. Каждое задание проходит проверку валидности на выборках учащихся.
 

1. Оценка информационно-коммуникационной компетентности учащихся: подходы, инструмент, валидность и надежность результатов [Электронный ресурс] / Авдеева [и др.] // Вопросы образования. 2017. № 4. С. 104—132. doi: 10.17323/1814-9545-2017-4-104-132

2. Ефремова Н.Ф. Проектирование оценочных средств по модели доказательной аргументации // Педагогические измерения. 2018.  № 3. С. 8—15

3. Угланова И.Л., Брун И.В., Васин Г.М. Методология Evidence-Centered Design для измерения комплексных психологических конструктов [Электронный ресурс] // Современная зарубежная психология. 2018. Vol. 7. (3). P. 18—27. doi: 10.17759/jmfp.2018070302