Сотня баллов на смену пятерке: в Инобре разработали первую систему мониторинга предметных знаний в школе
ЗАЧЕМ НУЖЕН НОВЫЙ ИНСТРУМЕНТ?
У традиционных способов оценки знаний в школе свои недостатки, поэтому мониторинг может их удачно дополнять. Текущие оценки по пятибалльной (фактически четырехбалльной) шкале далеко не всегда объективны и точны, учитель, который их ставит, может ошибаться, быть недостаточно объективен, внимания может не хватать на всех. А экзамены и проверочные работы вообще не показывают прогресс ученика, у них другая задача — определить уровень достижений в неких финальных точках обучения. Их потому и называют «с высокими ставками», что зачастую подготовка к ним — зубрежка и натаскивание именно на экзамен. Способов доказательно, системно, в спокойной обстановке следить за развитием предметных знаний у школы нет. А кроме того, ни ВПР, ни, тем более, ОГЭ и ЕГЭ не рассчитаны на то, чтобы ученик или его учитель получали обратную связь о пробелах и проблемах в освоении дисциплин.
КАК УСТРОЕН ИНСТРУМЕНТ?
Это компьютерное тестирование, которое ученики 8 — 11 классов проходят по основным предметам (русский язык и математика) дважды в год — в октябре, когда уже адаптировались к школе после летних каникул, и в мае, когда основная учебная программа уже пройдена. В каждом тесте несколько десятков заданий разного уровня сложности, за решение которых начисляются баллы.
Проверка ответов автоматическая, система учитывает сложность заданий и формирует общую оценку по 100-балльной шкале, в которой есть пороговые оценки. Можно понять, какому уровню соответствуют знания ребенка — базовому, ниже базового или выше, и какой прогресс он показывает с течением времени. По итогам каждой волны тестирования школа, учитель и родители получают отчет по выявленным сильным и слабым сторонам в знаниях каждого ребенка.
«Традиционный подход к мониторингу прогресса — через якорные задания. Это одни и те же задания, которые включаются в тесты для разных классов, и поэтому результаты тестов можно положить на единую шкалу. Однако мы решили применить более продвинутый уровень моделирования, когда прогресс измеряется не по одинаковым заданиям, а по одинаковым учебным действиям или когнитивным операциям, которые ученик совершает с разными заданиями»
ПРОВЕРЕНО: ВСЁ РАБОТАЕТ
В 2019 году Инобр воплощал в жизнь так называемый проект социального воздействия — по инициативе корпорации ВЭБ.РФ и правительства Якутии провели эксперимент по повышению качества школьного образования в отдельно взятом районе (Хангаласский улус). Предстояло понять, как различные меры работы с учителями и учениками всех школ района, интервенции, педагогические и управленческие практики могут повлиять на общий уровень муниципальной системы образования. Проект успешно закончился в этом году: качество образования удалось поднять более чем на 10%, что в финале было доказано независимым аудитом (подробнее). Но и по ходу проекта прогресс учеников надо было каким-то образом измерять. Это и стало тем вызовом, для ответа на который Центр психометрики и измерений в образовании начал работать над новым инструментом.
«Если честно, мы никогда не собирались заниматься измерением предметных образовательных результатов. Все-таки наш центр специализируется на измерении сложных конструктов – 4K, цифровая грамотность... Для проекта в Якутии мы хотели найти подрядчика, который организует мониторинг прогресса, и нашли, но нам не очень понравилось, что он предложил. Тогда решили — делаем сами. Для Якутии нам нужно было измерять прогресс в 8-11 классах, а параллельно развивался проект со СберКлассом, где нужно было что-то похожее в 5-6 классах. Так мы решили, что эти работы надо объединять и создавать инструмент уже для всей средней школы»
Карданова Елена Юрьевна
директор Центра психометрики и измерений в образовании
Инструмент применяли не только в Хангаласском улусе, но и в нескольких соседних районах, которые выступили контрольной группой. Аудит, проведенный экспертами Московского городского педагогического университета, подтвердил не только достижение заявленных показателей проекта, но и качество самого мониторинга.
ЧТО БУДЕТ ДАЛЬШЕ?
По словам Елены Кардановой, создание инструмента мониторинга предметных знаний подтолкнуло команду Центра к «нескольким абсолютно новым для нас исследовательским умениям». Первое: в Инобре занялись вопросом автогенерации заданий. Заказывать много разных однотипных заданий специалистам оказалось очень дорого, дешевле научить нейросеть их «клонировать». Причем, по разным предметам и специфика автогенерации оказалась разной, для математики попроще, для русского языка более сложной и новаторской — это вылилось в отдельный проект, над которым психометрики Инобра работают вместе с государственным институтом русского языка имени Пушкина
Еще одной новой задачей оказалась формирующая обратная связь.
«Сейчас разрабатываем технологии создания такой обратной связи, которая основана не на проценте выполненных заданий, а на степени освоенности различных тем и различных умений, учебных действий. Для этого используем модели когнитивной диагностики, которые позволяют по каждой субкомпетенции, заложенной в тесты, дать информацию — освоена она или нет. По каждому ученику инструмент даст такую информацию»
Карданова Елена Юрьевна
директор Центра психометрики и измерений в образовании
Сейчас инструмент оценки прогресса в основной школе продолжают дорабатывать, к нему уже есть интерес со стороны регионов. Психометрики «настраивают» его под новые ФГОСы, которые, кстати, требуют, чтобы оценочные средства позволяли измерять динамику образовательных результатов — так что, вероятно, у инструмента мониторинга большое будущее
Подробнее об инструментах Центра психометрики и измерений в образовании здесь
Тарасов Сергей Владимирович
стажер-исследователь Центра психометрики и измерений в образовании