Школам не хватает исследований вдолгую – как использовать ОГЭ и ЕГЭ, чтобы отчасти заменить « дефицитные » лонгитюдные исследования
Сто вариантов эффективности
Об эффективности школы много говорят, она часто становится предметом исследований, но загвоздка в том, что само понимание – что считать эффективностью – у всех разное. Иногда это рассматривают в контексте действенности тех или иных педагогических практик. А чаще всего – в контексте экономических показателей образовательных организаций – это самый популярный подход.
«Постоянно идут дискуссии, на основании чего можно сказать, что школа эффективная. Постоянно придумываем новые определения для этого слова. Умом-то мы все понимаем, что есть школы лучше или хуже других, но когда начинаем углубляться, видим, сколько факторов на это влияет: разные ресурсы, разное социальное окружение, разные дети. Сложно дойти до пункта, про который можно сказать, что это точно заслуга школы».
Исследователи Центра общего и дополнительного образования обратились к концепции эффективности школы как стабильности академических результатов ее учеников. Для этого нужно было оценить, насколько постоянны эти результаты для разных когорт учеников одной школы и насколько можно объяснять их воздействием самой школы, а не прочих факторов.
Это не новый подход, но в России его трудно использовать из-за нехватки данных. «У нас нет традиции общенациональных мониторинговых исследований, лонгитюдов или срезов без высоких ставок, предназначенных специально для оценки прогресса отдельных учеников или динамики показателей школы», – рассказал Роман Звягинцев.
Как использовать ЕГЭ
В распоряжении исследователей оказались данные, которые можно назвать уникальными. В 2019 году центр проводил большое исследование в Тюменской области – в его поле зрения попали 85% школ региона, получилось собрать базу данных по кадрам, инфраструктуре, ресурсам, социально-экономическим характеристикам детей. «Изюминкой» стали индивидуальные обезличенные баллы ЕГЭ за пять лет (с 2015 по 2019-й) по всему региону – данные такого типа удается получить крайне редко.
«Несмотря на то, что мы так радовались индивидуальным баллам ЕГЭ, при подборе модели для анализа столкнулись с проблемой. Для каждой школы у нас были когорты выпускников за пять лет, но в таком виде это еще не лонгитюдные данные: школа одна и та же, а вот выпускники меняются каждый год. Мы крутили данные по-разному и пришли к идее, что оптимальным вариантом будет взять средние показатели ЕГЭ по школе по годам. Таким образом, достижения выпускников за разные года были вложены в основную единицу анализа второго уровня – школы».
Керша Юлия Дмитриевна
Центр общего и дополнительного образования имени А.А. Пинского: Младший научный сотрудник
Данные ЕГЭ по двум предметам (русский язык и профильная математика) были дополнены информацией о социально-экономическом контексте школы, контингенте учеников, педагогической составляющей и технической обеспеченности. Из них собрали общий индекс условий, в которых работает каждая школа.
«Сила» школы проявляется в математике?
Среди выводов, сделанных исследователями: сильные школы более стабильны. Высокий средний результат по ЕГЭ каждый год показывает и меньший разброс данных. Школы с высоким социально-экономическим статусом детей показывают не только более высокие академические результаты, что ожидаемо, но и более стабильные баллы по обоим предметам. В принципе же результаты ЕГЭ для всех школ более стабильны для русского языка, чем для профильной математики.
Обнаружилось, что средние результаты практически всех школ росли за эти пять лет, впрочем, это еще не говорит о росте качества образования. Возможно, это связано с упрощением экзаменов: по словам «отца ЕГЭ» академика Виктора Болотова, который также высказался в ходе семинара, для профильной математики точно прослеживался тренд на упрощение заданий. А еще это может быть следствием того, что учеников все больше «натаскивают» на сдачу ЕГЭ.
Исследование на этом этапе порождает больше вопросов, чем ответов, и важно помнить о многих ограничениях, например, о практике селекции – уровень сегрегации не назовешь низким, школы по факту часто все еще отбирают детей, появляются школы, где концентрируются дети с высоким или низким социально-экономическим статусом, что в значительной степени определяет средние достижения в школе.
«Нам интересна разница между стабильностью результатов по русскому языку и математике, мы ищем объяснения. Первое, что может прийти на ум: связь между уровнем владения языком и социально-экономическими, культурными статусами семей, по которым дети группируются в разных школах. Это может объяснить стабильность результатов экзамена по языку. Да, выпускники сменяются, но общий социально-экономический статус контингента школы сохраняется».
Звягинцев Роман Станиславович
Младший научный сотрудник Центра общего и дополнительного образования имени А.А. Пинского
Среди интересных наблюдений – различные подходы к найму репетиторов по разным предметам (60% семей респондентов нанимают репетитора по математике и только 20% – по русскому языку). В целом такой подход к исследованию результатов ЕГЭ в срезе школ позволяет изучать тему образовательного неравенства, в том числе в контекстах разных предметов.
Что ЕГЭ еще может дать исследователям?
В ходе дискуссии обсуждали, что нового в этом контексте можно узнать о резильентных школах, которые «прыгают выше головы» – показывают результат значительно более высокий, чем остальные в том же социально-экономическом положении. Темой дискуссии также стало, результаты по каким экзаменам (и почему) стоит исследовать, и на какие еще данные в принципе стоит опираться.
«В идеальном мире, чтобы ответить на вопрос об эффективности школ, мы могли бы запланировать большое лонгитюдное исследование, которое бы стоило очень дорого. А так мы вынуждены крутиться на данных, которые есть – на результатах PISA и ЕГЭ».
Кузьмина Юлия Владимировна
Центр психометрики и измерений в образовании: Старший научный сотрудник
«Помимо ЕГЭ, у нас есть еще более-менее объективная оценка – ОГЭ, который сдается в 9 классе. Я бы предложил сравнивать одну когорту выпускников с разницей в два года – на ОГЭ в 9 и на ЕГЭ в 11 классе, чтобы понять, что меняется в кластере школ, в школе, в регионе».
Болотов Виктор Александрович
Центр психометрики и измерений в образовании: Научный руководитель
«Меня настораживает использование средних баллов по школе – они могут искажать ситуацию, особенно в маленьких сельских школах. Стоит подумать, чем заменить средний балл. В ЕГЭ есть пороговые баллы ТБ1 и ТБ2. Первые преодолевает большинство, а ТБ2 говорит о высоком уровне подготовки. Можно использовать процент тех, кто преодолел этот уровень, как характеристику высокого уровня системных знаний».
Карданова Елена Юрьевна
Центр психометрики и измерений в образовании: Директор центра
Полная видеозапись семинара здесь.
Презентация (PPTX, 8.64 Мб)
Звягинцев Роман Станиславович
Младший научный сотрудник Центра общего и дополнительного образования имени А.А. Пинского