Проекты 2012 года
Руководители: М.Карной, И.Д. Фрумин
Исследования проводились как на национальном, так и на международном уровнях Для межстранового анализа были использовались такие данные международных сравнительных исследований, как TIMSS и PISA. В процессе анализа образовательных результатов на национальном уровне были использованы данные социологического опроса и результаты ЕГЭ.
Объекты исследования:
Для линии 2. Исследование причин расходящихся достижений школьников в двух тестах TIMSS и PISA в терминах оцениваемых этими тестами умений
Для направления 2. ЕГЭ как предиктор успешного обучения. Оценка предсказательной силы результатов по различным предметам.
В ходе исследования мы планируем оценить и сравнить предсказательную силу различных предметов ЕГЭ, входящих в суммарный балл, учитываемый при поступлении в ВУЗ.
Для направления 3. Оценка эффекта характеристик учителей и используемых ими преподавательских практик на достижения учеников (по результатам ЕГЭ)
Оценить связь характеристик и преподавательских практик учителей с результатами ЕГЭ.
В ходе исследований пирменялись следующие методы: методы описательной статистики, квазиэкспериментальные методы: инструментальной переменной, propensity score matching, метод «разрывности регрессии» (regression discontinuity), эксплораторного и конфирматорного факторного анализа; когнитивно-диагностические DINA модели, корреляционный и регрессионный анализ, методы описательной статистики, квазиэкспериментальные методы, модели первой разности, квинтильная регрессия.
Результаты исследования:
Для направления 1. Анализ влияния характеристик школы и учителя на достижения школьников в международных сравнительных исследованиях
Определение причин разрыва в результатах TIMSS и PISA
Для линии 1. Эффективность одного года школьного обучения на результаты PISA
Результаты показали, что в России для учащихся всех программ совокупно эффективность одного года школьного обучения незначима. Страны с практикой раннего разделения на общую и профессиональную программы показывают меньшую эффективность обучения, чем страны, где все 15-летние обучаются на общей программе.
Эффективность обучения для учащихся общеобразовательных программ значима во всех странах. Низкая эффективность обучения характерна для учащихся профессиональных программ по сравнению с эффективностью для детей из общеобразовательной траектории. Сила и направление связи СЭС и эффективности школьного обучения сильно зависит от системы образования и меняется от страны к стране. Для России, так же как для некоторых других стран, эффективность обучения не зависит от социально-экономических показателей учащихся.
Использованные квазиэкспериментальные методы анализа позволяют оценивать «добавленную стоимость» обучения даже в условиях срезового исследования. Это может оказаться полезным в часто встречающейся ситуации, когда есть необходимость оценить эффективность обучающщего воздействия при отсутствии лонгитюдных данных.
Полученные результаты анализа могут быть применены как в сфере образовательной политики, так и в сфере оценки качества образования.
Для линии 2. Исследование причин расходящихся достижений школьников в двух тестах TIMSS и PISA в терминах оцениваемых этими тестами умений
В результате удалось выявить пятифакторную структуру в заданиях TIMSS и щестифакторную структуру в заданиях PISA. Содержательная интерпретация факторов указывает на то, что только один навык между заданиями PISA и TIMSS является общим для выявленных структур.
Результаты проведенного исследования показывают что:
- Для выполнения формально схожих заданий исследований TIMSS и PISA учащимся необходимы различные навыки и умения.
- Необходимые для решения заданий навыки и умения могут иметь различные степени выраженности.
- Совокупность различий в навыках и степени их выраженности обуславливают различия в динамике результатов международных исследований TIMSS и PISA.
- Оценка результатов международных исследований TIMSS и PISA на уровне навыков и умений позволяет использовать результаты этих исследований более эффективно учителями и директорами школ.
- Понимание результатов международных исследований TIMSS и PISA на уровне необходимых навыков и умений позволяет провести более детальное сравнение между странами-участницами международных исследований.
- Выявленные навыки, обуславливающие различия в результатах TIMSS и PISA, могут лечь в основу рекомендаций для разработчиков учебников и методистов; учитываться в процессе планирования образовательной политики.
Полученные результаты анализа могут применяться в области оценки качества образования.
Для направления 2. ЕГЭ как предиктор успешного обучения. Оценка предсказательной силы результатов по различным предметам
Оценена предсказательная сила вступительных экзаменов в форме ЕГЭ через анализ их связи с успеваемостью в течение первого года обучения в ВУЗе. В среднем вступительные экзамены объясняют до 50% вариации успеваемости на первом году.
Выявлено, что учет различных предметов ЕГЭ с разным весом для вычисления итоговой суммы баллов абитуриента не улучшает результаты, по крайней мере, на анализируемых нами специальностях (в выборку не вошли инженерные ВУЗы).
Часть предметов ЕГЭ слабо связана с дальнейшей успеваемостью в ВУЗе. Возможно, после анализа на расширенной выборке стоит пересмотреть набор требуемых для поступления предметов.
Исследование со схожей методологией могло бы стать мониторинговым, так как позволяет достаточно просто с точки зрения необходимых ресурсов получать важную информацию о функционировании системы вступительных экзаменов.
Область применения полученных результатов анализа: анализ политики проведения вступительных испытаний в ВУЗы.
Для направления 3. Оценка эффекта характеристик учителей и используемых ими преподавательских практик на достижения учеников (по результатам ЕГЭ)
В результате исследования были получены новые знания о различии эффектов характеристик и практик учителей на разные группы учащихся.
Полученные результаты показывают, что у учителей математики с меньшей (первой) категорией по сравнению с более коллегами с большей (высшей) категорией ученики сдают ЕГЭ лучше. Иными словами, у дольше проработавших в школе учителей результаты тестов учеников ниже.
Практика селекции детей по способностям на уровне школы (деление на классы) и на уровне класса (деление на группы) связана с более высоким баллом ЕГЭ по математике, тогда как более частая работа учителя со всем классом сопровождается снижением результата теста.
Список публикаций:
1. Yulia Tyumeneva, Yulia Kuzmina "The Effect of One Extra Year of Schooling on Pisa Results: a Case of Countries with Different Tracking Systems", Series: Education, WP BRP 08/EDU/2012.
2. Zakharov A., Carnoy M. What Classroom and Teacher Characteristics Bias Teacher’s Expectation for Class Performance.
3. Захаров А.Б. Эффекты селекции учащихся в школе. Планируется публикация в журнале «Вопросы образования» в 2013 г..
4. Захаров А.Б. Как учителя воспринимают учеников. Планируется публикация в журнале «Вопросы образования» в 2013 г..
5. Тюменева Ю.А., Кузьмина Ю.В.Что говорят данные PISA об эффективности года обучения в российской школе? На материалах PISA-2009 (грамотность чтения). Принято в печать в журнал Вопросы образования. Планируемая дата выхода №1 2013.
Выступления на конференциях и семинарах:
Tyumeneva Y., Kuzmina Y. Assessment of the effectiveness of one extra year of schooling based on PISA data//Presentation at The European Conference on Educational Research 2012 (ECER 2012), Spain, Cadiz, 18.09.2012 - 21.09.201,http://www.eera-ecer.de/ecer2012/
Tyumeneva Y., Kuzmina Y. School year effect on student achievement in PISA//Report at the 56th Annual Conference of the Comparative and International Educational Society, Puerto Rico, 22.04.2012-24.04.2012,http://www.cies2012.psu.edu/
Zakharov A. “Teacher experience, schooling and teaching practicies and students outcomes”, Tendencies in the Development of Education// Moscow school of Social and Economics Studies, February 2012.