Проекты 2012 года

Руководители: М.Карной, И.Д. Фрумин

Исследования проводились как на национальном, так и на международном уровнях Для межстранового анализа были использовались такие данные международных сравнительных исследований, как TIMSS и PISA. В процессе анализа образовательных результатов на национальном уровне были использованы данные социологического опроса и результаты ЕГЭ.

Работа по данному проекту включает проведение исследований по трем тематическим направлениям:

1) Анализ влияния характеристик школы и учителя на достижения школьников в международных сравнительных исследованиях. Определение причин разрыва в результатах TIMSS и PISA

В свою очередь, это направление было разделено на две линии:

- эффективность одного года школьного обучения на результаты PISA

- исследование причин расходящихся достижений школьников в двух тестах TIMSS и PISA в терминах оцениваемых этими тестами умений

2) ЕГЭ как предиктор успешного обучения. Оценка предсказательной силы результатов по различным предметам

3) Оценка эффекта характеристик учителей и используемых ими преподавательских практик на достижения учеников (по результатам ЕГЭ)

Объекты исследования:

— эффективность одного года школьного обучения в России на прирост баллов 15-летних школьников в тесте международного исследвоания качества образования PISA.

— причины расходящихся достижений школьников в двух тестах TIMSS и PISA в терминах оцениваемых этими тестами умений

— порядок учета баллов ЕГЭ во время вступительных кампаний в ВУЗы

— образовательный процесс в школе

Цели исследования:

Для направления 1. Анализ влияния характеристик школы и учителя на достижения школьников в международных сравнительных исследованиях. Определение причин разрыва в результатах TIMSS и PISA

Для линии 1. Эффективность одного года школьного обучения на результаты PISA

Влияние одного года школьного обучения в России на прирост баллов 15-летних школьников в тесте международного исследования качества образования PISA.

Для линии 2. Исследование причин расходящихся достижений школьников в двух тестах TIMSS и PISA в терминах оцениваемых этими тестами умений

Объяснение разрыва в достижениях по математике российских учащихся в двух международных исследованиях – TIMSS и PISA с помощью выявления латентной структуры заданий этих исследований

Для направления 2. ЕГЭ как предиктор успешного обучения. Оценка предсказательной силы результатов по различным предметам.

В ходе исследования мы планируем оценить и сравнить предсказательную силу различных предметов ЕГЭ, входящих в суммарный балл, учитываемый при поступлении в ВУЗ.

Для направления 3. Оценка эффекта характеристик учителей и используемых ими преподавательских практик на достижения учеников (по результатам ЕГЭ)

Оценить связь характеристик и преподавательских практик учителей с результатами ЕГЭ.

В ходе исследований пирменялись следующие методы: методы описательной статистики, квазиэкспериментальные методы: инструментальной переменной, propensity score matching, метод «разрывности регрессии» (regression discontinuity), эксплораторного и конфирматорного факторного анализа; когнитивно-диагностические DINA модели, корреляционный и регрессионный анализ, методы описательной статистики, квазиэкспериментальные методы, модели первой разности, квинтильная регрессия.

Результаты исследования:

Для направления 1. Анализ влияния характеристик школы и учителя на достижения школьников в международных сравнительных исследованиях

Определение причин разрыва в результатах TIMSS и PISA

Для линии 1. Эффективность одного года школьного обучения на результаты PISA

Результаты показали, что в России для учащихся всех программ совокупно эффективность одного года школьного обучения незначима. Страны с практикой раннего разделения на общую и профессиональную программы показывают меньшую эффективность обучения, чем страны, где все 15-летние обучаются на общей программе.

Эффективность обучения для учащихся общеобразовательных программ значима во всех странах. Низкая эффективность обучения характерна для учащихся профессиональных программ по сравнению с эффективностью для детей из общеобразовательной траектории. Сила и направление связи СЭС и эффективности школьного обучения сильно зависит от системы образования и меняется от страны к стране. Для России, так же как для некоторых других стран, эффективность обучения не зависит от социально-экономических показателей учащихся.

Использованные квазиэкспериментальные методы анализа позволяют оценивать «добавленную стоимость» обучения даже в условиях срезового исследования. Это может оказаться полезным в часто встречающейся ситуации, когда есть необходимость оценить эффективность обучающщего воздействия при отсутствии лонгитюдных данных.

Полученные результаты анализа могут быть применены как в сфере образовательной политики, так и в сфере оценки качества образования.

В результате удалось выявить пятифакторную структуру в заданиях TIMSS и щестифакторную структуру в заданиях PISA. Содержательная интерпретация факторов указывает на то, что только один навык между заданиями PISA и TIMSS является общим для выявленных структур.

Дополнительным методом анализа выступало использование когнитивно-диагностической DINA модели, использование которой позволяет оценить вероятность овладения каждым рассматриваемым навыком, а также получить оценки параметров угадывания, неверного выполнения задания и дискриминативности для каждого задания. В результате проведенного анализа в рамках когнитивно-диагностической модели было показано, что наименьшая вероятность овладения навыком была получена для умения анализа графических данных с учетом всех элементов изображения для заданий PISA и умения выражать свое понимание выявленной закономерности в виде математической формулы для заданий TIMSS.

Результаты проведенного исследования показывают что:

Для выполнения формально схожих заданий исследований TIMSS и PISA учащимся необходимы различные навыки и умения.
Необходимые для решения заданий навыки и умения могут иметь различные степени выраженности.
Совокупность различий в навыках и степени их выраженности обуславливают различия в динамике результатов международных исследований TIMSS и PISA.
Оценка результатов международных исследований TIMSS и PISA на уровне навыков и умений позволяет использовать результаты этих исследований более эффективно учителями и директорами школ.
Понимание результатов международных исследований TIMSS и PISA на уровне необходимых навыков и умений позволяет провести более детальное сравнение между странами-участницами международных исследований.
Выявленные навыки, обуславливающие различия в результатах TIMSS и PISA, могут лечь в основу рекомендаций для разработчиков учебников и методистов; учитываться в процессе планирования образовательной политики.

Полученные результаты анализа могут применяться в области оценки качества образования.

Для направления 2. ЕГЭ как предиктор успешного обучения. Оценка предсказательной силы результатов по различным предметам

Оценена предсказательная сила вступительных экзаменов в форме ЕГЭ через анализ их связи с успеваемостью в течение первого года обучения в ВУЗе. В среднем вступительные экзамены объясняют до 50% вариации успеваемости на первом году.

Выявлено, что учет различных предметов ЕГЭ с разным весом для вычисления итоговой суммы баллов абитуриента не улучшает результаты, по крайней мере, на анализируемых нами специальностях (в выборку не вошли инженерные ВУЗы).

Часть предметов ЕГЭ слабо связана с дальнейшей успеваемостью в ВУЗе. Возможно, после анализа на расширенной выборке стоит пересмотреть набор требуемых для поступления предметов.

Исследование со схожей методологией могло бы стать мониторинговым, так как позволяет достаточно просто с точки зрения необходимых ресурсов получать важную информацию о функционировании системы вступительных экзаменов.

Область применения полученных результатов анализа: анализ политики проведения вступительных испытаний в ВУЗы.

В результате исследования были получены новые знания о различии эффектов характеристик и практик учителей на разные группы учащихся.

Полученные результаты показывают, что у учителей математики с меньшей (первой) категорией по сравнению с более коллегами с большей (высшей) категорией ученики сдают ЕГЭ лучше. Иными словами, у дольше проработавших в школе учителей результаты тестов учеников ниже.

Практика селекции детей по способностям на уровне школы (деление на классы) и на уровне класса (деление на группы) связана с более высоким баллом ЕГЭ по математике, тогда как более частая работа учителя со всем классом сопровождается снижением результата теста.

С другой стороны, анализ также показал, что связь рассматриваемых переменных различна для разных групп детей. Можно предположить, что от первой категории учителя математики больше выигрывают ученики с высоким экономическим капиталом семьи, а также дети с медианным баллом по математике. От занятий в классе с профильным изучением русского языка проигрывают в баллах ЕГЭ дети из семей низким культурным капиталом. Учащиеся из семей с высоким культурным или высоким экономическим капиталом больше выигрывают от профильного изучения математики (в баллах ЕГЭ по этому предмету). От частого использования учителем работы со всем классом могут больше проигрывать ученики из семей с высоким экономическим капиталом и низким баллом по тесту.

По результатам исследования можно разработать рекомендации отсносительно практик преподавания. Учителям можно рекомендовать больше проводить дифференцированную работу, группируя учеников по способностям.

Список публикаций:

1. Yulia Tyumeneva, Yulia Kuzmina "The Effect of One Extra Year of Schooling on Pisa Results: a Case of Countries with Different Tracking Systems", Series: Education, WP BRP 08/EDU/2012.

2. Zakharov A., Carnoy M. What Classroom and Teacher Characteristics Bias Teacher’s Expectation for Class Performance.

3. Захаров А.Б. Эффекты селекции учащихся в школе. Планируется публикация в журнале «Вопросы образования» в 2013 г..

4. Захаров А.Б. Как учителя воспринимают учеников. Планируется публикация в журнале «Вопросы образования» в 2013 г..

5. Тюменева Ю.А., Кузьмина Ю.В.Что говорят данные PISA об эффективности года обучения в российской школе? На материалах PISA-2009 (грамотность чтения). Принято в печать в журнал Вопросы образования. Планируемая дата выхода №1 2013.

Выступления на конференциях и семинарах:

Tyumeneva Y., Kuzmina Y. Assessment of the effectiveness of one extra year of schooling based on PISA data//Presentation at The European Conference on Educational Research 2012 (ECER 2012), Spain, Cadiz, 18.09.2012 - 21.09.201,http://www.eera-ecer.de/ecer2012/

Tyumeneva Y., Kuzmina Y. School year effect on student achievement in PISA//Report at the 56th Annual Conference of the Comparative and International Educational Society, Puerto Rico, 22.04.2012-24.04.2012,http://www.cies2012.psu.edu/

Zakharov A. “Teacher experience, schooling and teaching practicies and students outcomes”, Tendencies in the Development of Education// Moscow school of Social and Economics Studies, February 2012.