Проекты 2011 года

Руководители: М.Карной, И.Д. Фрумин

1. Углубленный анализ результатов международных исследований качества образования и ЕГЭ в контексте экономических показателей образования

На протяжении последних десятилетий странами-участницами международных исследований в области образования активно проводятся сопоставительные исследования, изучающие вопрос о связи разнообразных факторов (школьных, семейных, демографических, социально-экономических и пр.) с достижениями школьников. Одним из постоянно повторяемых выводов в таких работах является констатация более сильного влияния семейных характеристик на результаты, демонстрируемые школьниками, по сравнению с фактором образовательной системы (который, как правило, оценивается по внутришкольным и учительским характеристикам).

Международная лаборатория анализа образовательной политики выполняет проект по анализу результатов международных исследований PIRLS, PISA и TIMSS, а также результатов ЕГЭ в контексте экономических показателей образования (проекты лаборатории финансируются в рамках тематического плана фундаментальных исследований Государственного университета – Высшей школы экономики на 2011 год).

Данные, получаемые в ходе исследований качества образования PISA, PIRLS и TIMSS, обладают рядом серьезных возможностей, которые до сих пор не были в полной мере использованы. Ключевые характеристики этих данных: сопоставимость межстрановых результатов, цикличность исследований на протяжении двух десятков лет, наличие пересекающихся спецификаций тестовых заданий и вопросов анкеты. Эти особенности предоставляют возможности для комплексного анализа данных: по странам, по временным трендам и по динамике достижений учащихся. Однако систематической аналитики об истинных возможностях опросников международных исследований качества образования явно недостаточно; и в рамках проектов лаборатории планируется выполнить оценку этих возможностей, акцентируясь на том, как и насколько качественно вопросы анкет характеризуют разные уровни образовательной реформы. До сих пор систематизированный подход к работе с анкетами и к анализу полученных данных не был описан также, как не были оценены возможности (сопоставимость, надежность) анкетной информации и других источников контекстных данных, привлекаемых IEA и OECD.

ЕГЭ как объект анализа проекта лаборатории в некоторой степени представляет собой уникальный случай для исследования. Международные исследования, в отличие от ЕГЭ, не влияют напрямую на будущее самих учеников, т.к. не являются вступительными экзаменами в вузы. Являясь фильтром, ограничивающим доступ в вуз, и способом оценки эффективности работы школы, ЕГЭ сопряжен с высокой заинтересованностью в его успешности, имеющейся у всех участников образовательного процесса.

Цели исследования:

1. Оценить вклад реформы образования в странах-участницах международных исследований качества образования в развитие умений школьников решать проблемы разных типов. Углубленных исследований успешности решения задач разного типа и ее связи с тем или иным фокусом учебного плана в литературе очень мало. Кроме того, фундаментальными представляются вопросы о границах возможностей перестройки национального учебного плана, о необходимости системного, а не поэлементного реформирования, а также о возможности оценить эффекты реформ.

2. Провести углубленный анализ связи характеристик учащихся, их семей, школьных условий, классов, персонала школ с результатами ЕГЭ, а также разработать модель, описывающую взаимосвязь указанных факторов с результатами ЕГЭ. Определить типовые стратегии подготовки к ЕГЭ, используемые разными группами учеников, школ, учителей.

3. Разработать модель комплексной оценки качества работы школы с учётом динамики индивидуальных достижений учащихся; показателей состояния школьного климата. Сегодня в отечественной практике управления качеством образования отсутствуют инструменты оценки состояния школьного климата, динамики индивидуальных достижений учащихся, уровня преподавания. Их разработка существенно расширит возможности по выявлению причин снижения качества учебных достижений учащихся и по мониторингу изменений, осуществляемых образовательным учреждением при переходе к более эффективному режиму работы.

Кроме того, в ходе исследований будет адаптирована к отечественной практике модель «школьной эффективности» и определены алгоритмы выявления наиболее и наименее эффективно работающих образовательных учреждений. Эта модель является одной из базовых для зарубежных прикладных исследований в образовании, и её использование для анализа ситуации в российском образовании вводит этот анализ в современный мировой контекст. В свою очередь, результаты исследования факторов, влияющих на эффективность школы, а также условий, способствующих преодолению негативного влияния контекстных факторов, внесут вклад в развитие «модели школьной эффективности». Применение данной модели поможет отечественным исследователям в поиске решений проблемы неравенства доступа и социальной дифференциации в образовании.

С учетом введения в России экзаменов стандартизированного типа и перехода на компетентностно-ориентированное обучение, представляется важным начать исследовать связи между характером заданий, призванных оценить развитие тех или иных «компетентностей», и образовательного окружения, в котором эти компетентности должны быть выращены. В то же время рост числа источников данных об образовательной среде и достижениях учащихся в том или ином типе заданий или в разных предметных областях будет требовать систематизации и комплексного углубленного анализа. Методы и технологии таких исследований не разработаны пока в должной мере, так что работа лаборатории в данном направлении может рассматриваться как пробная в этом направлении.

Результаты исследования:

При анализе динамики достижений стран Восточной Европы и бывшего СССР в международных сравнительных исследованиях за двадцать лет реформ установлено, что в TIMSS наблюдается почти повсеместная тенденция к снижению достижений и к уменьшению разброса результатов, а в PISA эта тенденция к снижению гораздо менее выражена и страны демонстрируют большую устойчивость в своих достижениях.

При исследовании качества информации из анкет, вовлеченных в анализ, установлено, что данные, полученные из анкет PISA и TIMSS, заполняемых администраторами школ или учителями, а также из изданных IEA «Энциклопедий стран» частично ненадежны, частично подвержены искажениям со стороны социальной желательности, частично отражают только намерения страны в отношении тех или иных изменений. Наряду с этим, выявлено, что данные по странам, полученные из «Энциклопедий стран» или с информационных порталов международных организаций (The World Bank; UNESCO и др.), часто несопоставимы по типу задаваемых вопросов, формату представленных данных, от одной страны к другой и от года к году.

При анализе динамики ресурсной обеспеченности школ в отобранных странах установлено наличие общей тенденции последовательного решения проблемы с нехваткой ресурсов и снижения уровня дефицитности в системе образования.

При соотнесении динамики достижений с динамикой характеристик школьной системы выявлена нецелесообразность ограничения исследовательской базы данных только данными PISA и TIMSS. Установлено, что дополнительные данные, используемые при определении элементов образовательной системы - эффективных средств улучшения достижений школьников, - не должны ограничиваться данными из относительно свободных источников, необходимо привлечение дополнительных исследовательских данных.

По второму направлению исследования - при анализе зависимостей между результатом ЕГЭ, с одной стороны, и внешних и профессиональных характеристик учителей, с другой, установлено следующее:

не обнаружено значимой связи между результатом ЕГЭ и «грубыми» практиками натаскивания на экзамен;

для результатов ЕГЭ имеют значение как профессиональные характеристики учителей, так и используемые ими практики преподавания и умение выстроить отношения с классом;

для сокращения разницы между баллами ЕГЭ по русскому языку и математике имеет существенное значение повышение профессионального опыта учителей математики, большее использование в их работе учебных заданий сложного типа, тренирующих учеников самостоятельно рассуждать, развитие у них умений налаживать отношения с учениками.

Также была сформирована база данных по формам федерального статистического наблюдения № ВПО-1 за 2009-2011 учебные годы, № ВПО-2 за 2009-2011 учебные годы, № СПО-1 за 2010-2011 учебный год. В дальнейшем будет сформирована база СПО-1 за 2011-2012 учебный год. Данные будут использованы при анализе в 2012 году.

На завершающем этапе реализации проекта была сформулирована концепция его развития: разработан дизайн двух проектов, которые будут проводиться в рамках деятельности Международной лаборатории анализа образовательной политики ИРО в2012 г.: исследования результатов образования и факторов на них влияющих, а также сравнительного исследования по анализу студенческих контингентов в странах БРИК.

Публикации:

В ходе реализации проектов Лаборатории в 2011 г. была опубликована статья:

Тюменева Ю.А., Хавенсон Т.Е. "Международные сравнительные исследования качества образования для оценки эффективности реформ: проблемы, ограничения и возможные решения" // Материалы VIII международной научно-практической конференции "Тенденции развития образования: Проблемы управления и оценки качества образования". М.: Издательство "Дело", 2012.

Международные сравнительные исследования качества образования

Были подготовлены к публикации:

1. М. Карной, А.Б. Захаров «Влияние профессиональных характеристик и образовательных практик учителей на учебные достижения выпускников российских школ»".

2. М. Карной, А.Б. Захаров «Влияние характеристик учащегося, семьи и школы на образовательные достижения выпускников».

3. М. Карной, А.Б. Захаров «Образовательные практики и учебные достижения учащихся в разных социальных ситуациях».

Выступления на конференциях и семинарах:

1. Tyumeneva Y., Khavenson, T. Combining different types of data in educational research. Data organization issues //The fourth Conference of the European Survey Research Association (ESRA), Losanna, 2011 http://surveymethodology.eu/media/files/ESRA_Conference_2011_Programme_Book_1.pdf

2. Тюменева Ю., Хавенсон Т. Тренды основных показателей образовательной системы России и достижения школьников в PISA (в сравнении с некоторыми странами Восточной Европы) // Восьмая международная научно-практическая конференция «Тенденции развития образования: Проблемы управления и оценки качества образования»

3. А.Б. Захаров «Влияние контекстных характеристик участников образовательного процесса и образовательных практик на учебные достижения выпускников школ (по результатам ЕГЭ-2010)» // Выступление на выездном семинаре по повышению квалификации научно-педагогических работников Национального исследовательского университета «Высшая школа экономики» по теме «Методология проведения академических исследований в сфере образования»