Проекты 2013 года

Руководители: М.Карной, И.Д. Фрумин

1. Сравнительное исследование качества подготовки по математике и физике студентов инженерных специальностей вузов в странах БРИК (Проект  Супертест)

Цели исследования: проведение сравнительного исследования готовности студентов стран БРИК к обучению в вузе (в частности, студентов технических специальностей), а также качества их подготовки по истечении двух лет обучения в вузе. Целью исследования в 2013 г. являлась разработка концепции исследования качества подготовки по математике и физике студентов технических специальностей российских вузов в сравнении со студентами аналогичных вузов стран БРИК. Основной задачей исследования 2013 г. являлся анализ состояния инженерного образования в странах БРИК, качества подготовки студентов инженерных специальностей (как на входе в обучение в вузе, так и по завершении определенных этапов обучения) и изучение вопроса о необходимости и возможности создания единого инструмента для студентов стран БРИК для оценки качества поступающих на инженерные специальности вузов в странах БРИК, а также инструмента для оценки качества инженерного образования.

Таким образом, исследование 2013 г. является 1-м этапом большого исследования, рассчитанного на 2014-2017 гг.

Результаты исследования:
— В результате проведенного анализа были выделены основные тенденции, существующие в высшем образовании в странах БРИК: дифференциация вузов, большое количество частных университетов, высокая роль государства в образовании.
 Проведенный анализ показал, что в странах БРИК используются очень разные способы отбора студентов на инженерные специальности вузов, различающиеся как по форме, так и по содержанию.
 Проведенное исследование баллов ЕГЭ зачисленных студентов показало, что многие вузы (половина из проанализированных) принимают на инженерные специальности очень слабых выпускников (средний балл ЕГЭ менее 55), и только 30 вузов принимают сильных студентов (средний балл ЕГЭ более 70).
 Опрос экспертов и пилотное тестирование студентов показало, что в целом задания вступительных тестов по математике из стран БРИК могут быть адаптированы для разработки универсального теста для студентов стран БРИК.
Применение результатов исследования: результаты данного исследования представляют собой основу для создания международного инструмента, направленного на оценку качества инженерного образования в странах БРИК.

2. Связь образовательной среды и образовательных контекстов практик и результатов обучения

Тема 1

В центре внимания были резильентные ученики, то есть ученики, занявшие более высокие позиции, чем "предсказывает" их СЭС. Данная группа учащихся изучалась в сопоставлении с «антирезильентными» учениками, то есть учениками, которые занимают более низкие позиции, чем предсказывает их СЭС.

Цель исследования: определить факторы, способствующие более высоким академическим достижениям у детей из семей с низким социально-экономическим статусом по данным международных образовательных исследований. Эмпирическую базу исследования составляют открытые базы данных международных образовательных исследований: TIMSS (8 класс), PISA за период 2000х гг.

Результаты исследования: позволили подобрать сопоставимые между исследованиями PISA и TIMSS индикаторы СЭС. Отнесение школьника к резильентному (и к антирезильентному) определялось в PISA на основе индекса экономического, социального и культурного статусов ученика (ESCS), в TIMSS – на основе числа книг дома и индекса домашних ресурсов.
 
Тема 2

Возможность ЕГЭ предсказывать успеваемость студентов и тем самым отбирать абитуриентов, способных учиться наиболее успешно.

Цель исследования: изучить связь результатов ЕГЭ и дальнейшей успеваемости студента в ВУЗе и через это оценить валидность ЕГЭ как инструмента отбора студентов в ВУЗы.

Исследование проводилось на данных по студентам, поступившим в 2009-2011 годах. Для отбора студентов строилась кластерная выборка, где единицей отбора выступали университеты, согласившиеся предоставить данные. В целом, в выборке имеются данные по 65 факультетам и более чем по 19000 студентам.

Результаты исследования: предсказательная способность суммарного балла ЕГЭ является приемлемой для того, чтобы признать этот экзамен валидным инструментом отбора абитуриентов. При оценке мы ориентировались на показатели валидности стандартизированных экзаменов SAT и ACT в США, которые, учитывая большой и долгий опыт их разработки и исследований, можно считать надежным референтным значением. В среднем, по разным направлениям подготовки успеваемость студентов на первом курсе на 20% объясняется ЕГЭ. На разных факультетах процент объяснения варьируется от 15 до 35%.

Предсказательная способность отдельных предметов, составляющих суммарный итоговый балл ЕГЭ, примерно одинакова для разных предметов, но все же можно отметить тенденцию, согласно которой ЕГЭ по математике и русскому языку оказываются лучшими предикторами для подавляющего большинства направлений.

При сравнении ЕГЭ и олимпиад мы выявили, что разница как в среднем балле ЕГЭ, так и в средней оценке за первый курс есть только на тех факультетах, где отбор преимущественно идет по олимпиадам по математике и экономике. Но в обоих случаях студенты, поступившие как победители или призеры олимпиад, имеют баллы не намного выше, чем остальные студенты. Таким образом, наши результаты не опровергают полностью тот факт, что олимпиады удачно пишут одаренные дети, однако они не подтверждают того, что данная категория студентов проявляют себя в дальнейшем значительно лучше тех, кто поступил по ЕГЭ.

Степень внедрения, рекомендации по внедрению или итоги внедрения результатов НИР: в рамках проекта разработана методология, которую возможно применять для мониторинговых исследований и транслировать на другие, не вошедшие в выборку данного исследования, ВУЗы.

Также новым является применение мета-анализа для обобщения результатов. Полученные результаты можно применять для оценки группы студентов на первом этапе обучения, для прогноза успешности группы.

Область применения: образовательная политика в области высшего образования. 

Тема 3

Название проекта: «Влияние характеристик образовательной среды на результаты обучения в начальной школе (на основе SAM -  Student's Achievement Monitoring)».

Цель исследования: выявление и описание характеристик образовательной среды, связанных с результатами обучения в начальной школе в контексте  трехуровневой схемы присвоения  культурного содержания, предлагаемой в  SAM. 

Методология исследования включает в себя методы математической статистики (корреляционный, дисперсионный и регрессионный анализ - независимыми переменными являются характеристики образовательной среды, а зависимыми – результаты тестирования SAM по русскому языку и математике), методы современной теории тестирования IRT, методы качественного исследования.

Результаты исследования: были описаны результаты тестирования SAM в регионе. Были составлены шкалы конструктивных и традиционных практик учителя, проанализирована надежность и валидность этих шкал. На основании имеющихся данных был проведен анализ характеристик образовательной среды, связанных с успешными результатами тестирования.

В ходе эмпирического исследования были проверены гипотезы о различиях между школьниками по следующим факторам образовательной среды:
 Тип населенного пункта
 Тип школы
 Учебно-методический комплекс
 Размер класса
Далее, по результатам исследования можно сделать вывод, что чем выше уровень конструктивизма у учителя, тем более высокие результаты имеют его ученики. Для учителей с конструктивистским подходом характерно восприятие ученика как активного участника процесса получения знания и, в целом, основные принципы конструктивистского подхода согласуются с российскими системами развивающего обучения: создание проблемных ситуаций, поощрение активности и любознательности, задачи на логику и мышление. Таким образом, необходимо через систему дополнительного образования сильнее пропагандировать конструктивистский подход среди учителей.
 
Тема 4

Связь теневого образования (занятий с репетиторами/ на подготовительных курсах) с академическими результатами российских старшеклассников.

Цель исследования: проанализировать эффекты занятий с репетиторами/ на подготовительных курсах на образовательные достижения российских старшеклассников.

Результаты исследования: участие в теневом образовании не имеет значимого эффекта на достижения слабоуспевающих старшеклассников, но дает положительный значимый эффект на достижения учащихся с высокой успеваемостью. Тем самым теневое образование обеспечивает академически «сильным» школьникам дополнительное преимущество над «слабыми» учащимися – в конкурсе при поступлении в вуз.

Было проверено одно из возможных объяснений отсутствия значимого эффекта для слабоуспевающих: учащиеся, использующие теневое образование, могут недооценивать другие внешкольные практики подготовки к экзамену и поступлению  в вуз и тратить на них меньше времени. Исследование показало, что эффекты теневого образования (независимо от изначальной успеваемости учащегося) не связаны с замещением времени, которое могло быть отведено на другие внешкольные образовательные практики. Другое возможное объяснение, требующее дополнительной проверки, связано с предположением, что родители инвестируют, не имея полной информации о качестве теневого образования.

3. Когнитивные навыки и национальные достижения в международных исследованиях качества образования 

Цель исследования: зафиксировать отношения между степенью сформированности предметных знаний и возможностью применять их в другом контексте.  

Результаты исследования: была обнаружена положительная связь между уровнем сформированности предметного знания и способностью перенести и применить его в ситуации, приближенной к реальной: чем лучше учащийся владеет предметным материалом по математике, тем с большей вероятностью он сможет применить это знание для решения проблемы в неакадемическом контексте. Однако, эта связь не является линейной: только владение материалом на самом высоком уровне значительно облегчает перенос. Средние уровни  владения предметным материалом мало дифференцируют успешность в контекстуальных задачах. Результаты обсуждаются в плоскости эффекта формально-предметного обучения для решения задач во вне-академическом контексте. 
 4. Характеристики учителей и их влияние на образовательные результаты учащихся

Тема 1

Название проекта: профессиональный портрет учителя математики российской школы.

Цель исследования: описание профессионального портрета учителя математики российской школы на основе данных международных исследований и сравнительный анализ характеристик российского учителя математики и учителя математики из других стран. 

Опросник NorBA включает в себя 5 модулей: (1) общая информация (контекстные данные); (2) климат в школе; (3) общие установки о преподавании; (4) установки об эффективном преподавании математики; (5) представление о собственной практике в классе. Каждый модуль состоит из утверждений, для оценки согласия с которыми используются 5- или 4- бальные шкалы Ликерта. Одной из основных задач проекта являлась валидизация опросника NorBA на российской выборке испытуемых и обоснование возможности проведения международного сравнительного исследования установок и практик учителей математики разных стран. 

Методология исследования включает в себя методы математической статистики (корреляционные исследования, дисперсионный и регрессионный анализ, структурное моделирование, факторный анализ – конфирматорный и исследовательский), методы современной теории тестирования IRT, методы качественного исследования.

Результаты исследования: данное исследование посвящено выявлению и описанию психологических и профессиональных черт учителя математики в России и сравнению полученного портрета с результатами международных исследований. 

В работе представлен обзор исследований, проведенных за последние 15 лет и посвященных изучению учителей математики. Проведено собственное исследование установок учителей математики при помощи опросника учительских установок Северобалтийского сравнительного исследования учителей математики (NorBA). В исследовании приняли участие учителя математики 5-11 классов.

Основываясь на данных международного сравнительного исследования TEDS-M 2008 года и собственного исследования, был описан портрет российского учителя. Полученный портрет содержит информацию об уровне знаний учителей математики, как по содержанию своего предмета, так и по педагогике; описаны социально-демографические характеристики; особый акцент сделан на внутренние установки учителя по отношению к математике как науке, обучению математике, собственной практике. В результате анализа литературы было выделено три основных группы черт, которые составляют профессиональный портрет учителя, это: социально-демографические характеристики; профессиональные знания и мотивационно-личностные характеристики (удовлетворенность работой и установки).

Результаты исследования показали, что студенты-выпускники российских педагогических ВУЗов, будущие учителя математики, имеют высокий уровень подготовки, как по фундаментальной математике, так и по методике преподавания математики. Однако менее трети выпускников планирует в будущем работать в школе. На настоящий момент в школе преподает всего 4% учителей моложе 26 лет, средний возраст учителей составил около 48 лет, а пенсионного возраста - 26% учителей. 
Проведено пилотное исследование установок и практик российских учителей математики с помощью анкеты международного исследования NorBa (по изучению установок учителей математики). В исследовании приняли участие 385 учителей из Латвии (средний возраст 46,7, стаж 23,3); 327 учителей из Эстонии (средний возраст 46,9, стаж 22,8), и 1223 учителя из Красноярского края, Россия. Международный статус исследования позволил провести сравнительное исследование установок и практик учителей математики основной школы в трех странах – Эстонии, Латвии и России. В частности,  было осуществлено сравнение установок и практик российских учителей и русскоговорящих учителей из Эстонии и Латвии.

Большинство российских учителей демонстрируют высокий уровень удовлетворенности работой. Большинство российских учителей математики имеют конструктивистские установки и реализуют их на практике. Уровень конструктивизма российских учителей значимо выше уровня конструктивизма учителей других стран-участниц. Учителя математики Эстонии склонны совмещать в преподавании традиционный и конструктивистский подход к обучению, чем отличаются от учителей других стран-участниц. Возможно, именно в этом кроются причины успеха эстонских школьников в исследовании PISA по математике. Российские учителя придерживаются системного подхода в своих представлениях о преподавании математики: математика понимается как система, делается акцент на  строгие доказательства, логику, точные определения и грамотное использование математического языка. Это поддерживает предположение о том, что в России ещё сильны традиции высокого качества математического образования.
Результаты исследования помогут точнее оценить ситуацию в общеобразовательной школе и спрогнозировать ее развитие.
Тема 2 

Цель исследования: описать национальные достижения в международных тестах, проверяющих качество образования, в терминах успешности решения простых  и сложных заданий по математике. Выявить влияние характеристик учителя и учительских практик на успешность учащихся в простых и сложных математических заданиях. 

Результаты исследования: все учительские практики, применяемые на уроках математики можно разделить на 3 группы: решение учащимися заданий по математике повышенной сложности; решение учащимися рутинных задач; решение учащимися задач под контролем преподавателя. Если сложные задач связаны с более высокими  достижениями учащихся в математике, то решения стандартных задач, требующих механического применения формул и полученных знаний,  - с более низкими результатами снижают способности детей в данном предмете.

В результате было принято решение изменить метод аналаиз данных на  фиксацию группы  заданий из самых сложных заданий PISA и проверка успешности их решения детьми, находящихся в TIMSS в разных по уровню достижений группах.  тестовых заданий подходящего уровня трудности, который позволит оценить вклад предметного знания, мышления по аналогии, оперативной памяти, объема внимания на решение вне-предметных (контекстуальных) задач. Работа, выполненная по этому плану, представлена в направлении 3 «Когнитивные навыки и национальные достижения в международных исследованиях качества образования».

Применение полученных результатов: проведенный в рамках данной работы анализ, является предварительным этапом для дальнейшего исследования национальной базы TIMSS-2011/PISA-2012, и ряд выдвинутых исследовательских гипотез подлежит последующей проверке.