Как отличаются баллы ЕГЭ по регионам: ответы на вопросы
Что нового в нашем исследовании?
Связь финансирования, ресурсов и образовательных результатов учащихся давно находится в центре внимания исследователей. Результаты часто бывают достаточно противоречивыми и не всегда ожидаемыми. Напр., в одном из обзоров Эрика Ханушека показано, что в 49 из 65 проанализированных публикаций эффекты финансирования на душу учащегося статистически были незначимы, только в 13 положительны, в 3 отрицательны (Hanushek, 1989). Другой пример - в известной работе Аммермюллера, Хейке и Вусмана, выполненной на данных 7 стран Восточной Европы показано, что эффекты характеристик семей значительны, а эффекты школьных ресурсов небольшие (Ammermuller, Heijke, Wosmann, 2005).
В России также ставились схожие вопросы. Например, в начале 2000-х гг. на данных 4 регионов оценивалась связь финансирования с результатами ЕГЭ и утверждалось, что “зависимость есть, и не обратная, а прямая” (Агранович, 2004). В дальнейшем в разных работах проводился анализ связи результатов учащихся (измеренных тестами международных исследований или ЕГЭ) с ресурсами школ и семей (напр., Кузьмина, Тюменева, 2011), характеристиками учителей (напр., Хавенсон, Захаров, Карной, Лоялка, Адамович, 2016). В исследовании наших коллег, выполненном на данных 2011 - 2012 гг. из двух субъектов РФ, оценивалась связь ЕГЭ и характеристик депривированности поселений (напр., Ястребов, Бессуднов, Пинская, Косарецкий, 2013). Другие наши коллеги сейчас проводят большую работу по анализу региональных различий в обеспеченности ресурсами, но без связи с образовательными результатами (Заир-Бек, Мерцалова, Беликов, 2016).
В своем исследовании, используя данные ЕГЭ большого числа регионов за период времени с 2010 по 2015 гг. мы впервые делаем попытку показать масштаб региональных различий в образовательных результатах учащихся и оценить их связь с размером государственного финансирования школ, профессиональными характеристиками кадров как основного образовательного ресурса и с различиями в доходах населения - при контроле набора региональных характеристик.
Подробнее о результатах можно прочитать здесь.
Как мы собирали данные?
Единицей наблюдения был регион. Данные о результатах ЕГЭ собраны из отчетов региональных ведомств и центров оценки качества образования. За ряд лет такая информация содержится на сайте Минобрнауки. Данные прошли дополнительную кросс-валидацию, где это было возможно. Другие региональные показатели собраны на сайтах Министерства образования и науки РФ, Росстата, Федерального казначейства.
Как возможно сопоставление?
Предыдущими авторами неоднократно указывалось на невозможность сопоставления “сырых” баллов ЕГЭ по разным предметам (см., напр., Агранович, 2013; Боченков, Вальдман, 2013) или по одному предмету за разные годы (Агранович, 2013) из-за проблемы различия шкал. Чтобы сопоставление результатов экзаменов было возможно шкалы необходимо “выровнять”.
Это может создавать не только исследовательскую проблему. Если результаты ЕГЭ по годам не сопоставимы, то выпускники разных лет оказываются в неравной ситуации при поступлении в вуз. Соответственно организаторы ЕГЭ заинтересованы в сопоставимости шкал и баллов по годам.
В любом случае, изменения, происходившие в содержании и структуре экзамена в течение одного года, одинаково применимы ко всем регионам в этом году. Учитывая это, мы использовали стандартизацию шкал по русскому языку и математике, чтобы привести средние по регионам баллы за разные годы к единой шкале (со средним, равным 0, и стандартным отклонением, равным 1). Это общепринятая в статистике процедура, которая в том числе позволяет делать сопоставления не только по предметам (см. напр., интересные работы Dee, 2007; Clotfelter, Ladd, & Vigdor, 2007), но и по годам (см., напр., Kukla-Acevedo, 2009). Мы указали лишь несколько примеров, но это решение настолько общепринято в статистике, что в принципе используется по умолчанию. Данные по русскому языку и математике мы анализировали отдельно.
Чтобы учесть фактор списывания и мошенничества, мы фиксировали (с помощью фиктивных переменных) группу регионов с аномально высокими баллами и скачками результатов.
Для задач исследования мы использовали эконометрический анализ с фиксированными и свободными эффектами. Желающие могут ознакомиться с основными принципами здесь (Cameron & Trivedi, 2005).
Учитывая появление профильного экзамена по математике, данные за 2015 г. мы анализировали отдельно. При этом использовался регрессионный анализ.
В заключение
По результатам исследования готовится статья в научный журнал. В публикации методология работы и результаты будут представлены более подробно. Выводы, сделанные в этой работе, подкрепляются нашим анализом данных международных мониторингов TIMSS и PISA (не приводится на сайте).