• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Углубленный анализ результатов исследований качества образования в контексте экономических показателей образования

Приоритетные направления развития: государственное и муниципальное управление
2013

Часть 1

Цели:

Проведение сравнительного исследования готовности студентов стран БРИК к обучению в вузе (в частности, студентов технических специальностей), а также качества их подготовки по истечении двух лет обучения в вузе. Целью исследования в 2013 г. являлась разработка концепции исследования качества подготовки по математике и физике студентов технических специальностей российских вузов в сравнении со студентами аналогичных вузов стран БРИК. Основной задачей исследования 2013 г. являлся анализ состояния инженерного образования в странах БРИК, качества подготовки студентов инженерных специальностей (как на входе в обучение в вузе, так и по завершении определенных этапов обучения) и изучение вопроса о необходимости и возможности создания единого инструмента для студентов стран БРИК для оценки качества поступающих на инженерные специальности вузов в странах БРИК, а также инструмента для оценки качества инженерного образования.

Таким образом, исследование 2013 г. является 1-м этапом большого исследования, рассчитанного на 2014-2017 гг.

Данное исследование является прямым продолжением предыдущих работ сотрудников лаборатории, связанных с анализом высшего образования (в частности, инженерного) в странах БРИК.

Эмпирическая база исследования:

- проанализированы данные по более, чем 400 университетам, ведущим прием на технические специальности по следующим направлениям: энергетика; металлургия; транспорт; электронная техника.

 - проведен опрос экспертов и пилотное тестирование студентов из 4-х российских вузов, целью которого было понять, могут ли студенты, поступившие на инженерные специальности вузов России, решать задачи, которые предлагаются абитуриентам Индии и Китая.

Результаты исследования:

1 В результате проведенного анализа были выделены основные тенденции, существующие в высшем образовании в странах БРИК: дифференциация вузов, большое количество частных университетов, высокая роль государства в образовании.

2 Проведенный анализ показал, что в странах БРИК используются очень разные способы отбора студентов на инженерные специальности вузов, различающиеся как по форме, так и по содержанию.

3 Проведенное исследование баллов ЕГЭ зачисленных студентов показало, что многие вузы (половина из проанализированных) принимают на инженерные специальности очень слабых выпускников (средний балл ЕГЭ менее 55), и только 30 вузов принимают сильных студентов (средний балл ЕГЭ более 70).

4 Опрос экспертов и пилотное тестирование студентов показало, что в целом задания вступительных тестов по математике из стран БРИК могут быть адаптированы для разработки универсального теста для студентов стран БРИК.

Применение результатов исследования:

 - результаты данного исследования представляют собой основу для создания международного инструмента, направленного на оценку качества инженерного образования в странах БРИК.

Часть 2.1

Объект исследования. В центре внимания были резильентные ученики, то есть ученики, занявшие более высокие позиции, чем "предсказывает" их СЭС. Данная группа учащихся изучалась в сопоставлении с «антирезильентными» учениками, то есть учениками, которые занимают более низкие позиции, чем предсказывает их СЭС.

Цель работы – определить факторы, способствующие более высоким академическим достижениям у детей из семей с низким социально-экономическим статусом по данным международных образовательных исследований.

Эмпирическую базу исследования составляют открытые базы данных международных образовательных исследований: TIMSS (8 класс), PISA за период 2000х гг.

Результаты работы позволили подобрать сопоставимые между исследованиями PISA и TIMSS индикаторы СЭС. Отнесение школьника к резильентному (и к антирезильентному) определялось в PISA на основе индекса экономического, социального и культурного статусов ученика (ESCS), в TIMSS – на основе числа книг дома и индекса домашних ресурсов.

Была оценена доля резильентных и антирезильентных учеников в целом ряде стран по чтению, математике и естествознанию в 2000е гг. В России среднее, по сравнению с другими странами, число как резельентных, так и антирезельентных учеников (до 3%). В целом динамика доли резильентных детей в обоих обследованиях показывают схожую тенденцию сокращения, более ярко выраженную согласно данным TIMSS. С другой стороны, в отличие от PISA, данные TIMSS говорят о некотором росте доли антирезильентных учащихся.

Были изучены факторы, способствующие достижению учащимися из небогатых семей высоких результатов по чтению. В центре внимания были практики преподавания и учения. К факторам резильентности можно отнести вовлеченность в чтение для удовольствия; практики стимулирования детского чтения; стратегию контроля в учении; практики поддержки учителем учащихся. Для сопоставления были рассмотрены факторы антирезельентности. К ним по результатам проведенного анализа можно отнести применение стратегии заучивания при обучении.

Часть 2.2

Возможность ЕГЭ предсказывать успеваемость студентов и тем самым отбирать абитуриентов, способных учиться наиболее успешно.

Цель работы:

Изучить связь результатов ЕГЭ и дальнейшей успеваемости студента в ВУЗе и через это оценить валидность ЕГЭ как инструмента отбора студентов в ВУЗы.

Эмпирическая база исследования:

В выборку исследования вошли 5 университетов различных регионов России. Четыре из них предоставили информацию обо всех студентах, один – по двум наиболее  крупным факультетам.

Исследование проводилось на данных по студентам, поступившим в 2009-2011 годах. Для отбора студентов строилась кластерная выборка, где единицей отбора выступали университеты, согласившиеся предоставить данные. В целом, в выборке имеются данные по 65 факультетам и более чем по 19000 студентам.

Результаты исследования:

Предсказательная способность суммарного балла ЕГЭ является приемлемой для того, чтобы признать этот экзамен валидным инструментом отбора абитуриентов. При оценке мы ориентировались на показатели валидности стандартизированных экзаменов SAT и ACT в США, которые, учитывая большой и долгий опыт их разработки и исследований, можно считать надежным референтным значением.

В среднем, по разным направлениям подготовки успеваемость студентов на первом курсе на 20% объясняется ЕГЭ. На разных факультетах процент объяснения варьируется от 15 до 35%.

Предсказательная способность отдельных предметов, составляющих суммарный итоговый балл ЕГЭ, примерно одинакова для разных предметов, но все же можно отметить тенденцию, согласно которой ЕГЭ по математике и русскому языку оказываются лучшими предикторами для подавляющего большинства направлений.

При сравнении ЕГЭ и олимпиад мы выявили, что разница как в среднем балле ЕГЭ, так и в средней оценке за первый курс есть только на тех факультетах, где отбор преимущественно идет по олимпиадам по математике и экономике. Но в обоих случаях студенты, поступившие как победители или призеры олимпиад, имеют баллы не намного выше, чем остальные студенты. Таким образом, наши результаты не опровергают полностью тот факт, что олимпиады удачно пишут одаренные дети, однако они не подтверждают того, что данная категория студентов проявляют себя в дальнейшем значительно лучше тех, кто поступил по ЕГЭ.

Степень внедрения, рекомендации по внедрению или итоги внедрения результатов НИР:

В рамках проекта разработана методология, которую возможно применять для мониторинговых исследований и транслировать на другие, не вошедшие в выборку данного исследования, вузы.

Также новым является применение мета-анализа для обобщения результатов. Полученные результаты можно применять для оценки группы студентов на первом этапе обучения, для прогноза успешности группы.

Область применения:

Образовательная политика в области высшего образования.

Часть 2.3

Название проекта: «Влияние характеристик образовательной среды на результаты обучения в начальной школе (на основе SAM -  Student's Achievement Monitoring)»

Объект исследования: 

Характеристики образовательной среды в начальной школе.

Цель исследования:

Выявление и описание характеристик образовательной среды, связанных с результатами обучения в начальной школе в контексте  трехуровневой схемы присвоения деятельностного культурного содержания, предлагаемой в  SAM.

Эмпирическая база исследования: результаты тестирования учащихся 4-х классов в одном регионе Российской Федерации (практически все выпускники начальной школы 2012 г., 4406 учащихся), а также результаты анкетирования их учителей.

Методология исследования включает в себя методы математической статистики (корреляционный, дисперсионный и регрессионный анализ - независимыми переменными являются характеристики образовательной среды, а зависимыми – результаты тестирования SAM по русскому языку и математике), методы современной теории тестирования IRT, методы качественного исследования.

Результаты исследования.Были описаны результаты тестирования SAM в регионе. Были составлены шкалы конструктивных и традиционных практик учителя, проанализирована надежность и валидность этих шкал. На основании имеющихся данных был проведен анализ характеристик образовательной среды, связанных с успешными результатами тестирования.

В ходе эмпирического исследования были проверены гипотезы о различиях между школьниками по следующим факторам образовательной среды:

-      Тип населенного пункта

-      Тип школы

-      Учебно-методический комплекс

-      Размер класса

Область применения полученных результатов.Результаты исследования могутучитываться органами управления образованием при формировании политики. Так, в ходе исследования было показано, что качество образования в малых классах в начальной школе не хуже, чем в классах нормального размера. А если сравнивать между собой только классы, находящиеся в сельских школах, то в малых классах результаты по русскому языку и математике даже лучше, чем в больших. Вопрос об экономической целесообразности содержания малых классов (большинство которых находятся в сельской местности) выходит за рамки данного исследования. Однако в ходе исследования было показано, что результаты начального образования в малых классах не хуже, чем в классах нормального размера.

Далее, по результатам исследования можно сделать вывод, что чем выше уровень конструктивизма у учителя, тем более высокие результаты имеют его ученики. Для учителей с конструктивистским подходом характерно восприятие ученика как активного участника процесса получения знания и, в целом, основные принципы конструктивистского подхода согласуются с российскими системами развивающего обучения: создание проблемных ситуаций, поощрение активности и любознательности, задачи на логику и мышление.Таким образом, необходимо через систему дополнительного образования сильнее пропагандировать конструктивистский подход среди учителей.

Часть 2.4

Oбъект исследования - связь теневого образования (занятий с репетиторами/ на подготовительных курсах) с академическими результатами российских старшеклассников.

Цель исследования - проанализировать эффекты занятий с репетиторами/ на подготовительных курсах на образовательные достижения российских старшеклассников.

Эмпирическая база исследования.  Для оценки эффекта теневого образования на академические достижения старшеклассников использовались данные опроса, проведенного в мае 2010 г. в трех регионах России: Псковской, Ярославской областях и Красноярском крае. Для участия в опросе школы отбирались с использованием стратифицированной случайной выборки. В каждой из отобранных школ опрашивались все учащиеся 11х классов. Всего в опросе приняли участие 2938 одиннадцатиклассников из 127 школ. Помимо учащихся, в каждой школе опрашивались их учителя русского языка и математики и директора школ. Наконец, летом 2010 года в дополнение к данным опроса были собраны индивидуальные результаты ЕГЭ учащихся – по математике и русскому языку.

Результаты исследования. Участие в теневом образовании не имеет значимого эффекта на достижения слабоуспевающих старшеклассников, но дает положительный значимый эффект на достижения учащихся с высокой успеваемостью. Тем самым теневое образование обеспечивает академически «сильным» школьникам дополнительное преимущество над «слабыми» учащимися – в конкурсе при поступлении в вуз.

Было проверено одно из возможных объяснений отсутствия значимого эффекта для слабоуспевающих: учащиеся, использующие теневое образование, могут недооценивать другие внешкольные практики подготовки к экзамену и поступлению  в вуз и тратить на них меньше времени. Исследование показало, что эффекты теневого образования (независимо от изначальной успеваемости учащегося) не связаны с замещением времени, которое могло быть отведено на другие внешкольные образовательные практики. Другое возможное объяснение, требующее дополнительной проверки, связано с предположением, что родители инвестируют, не имея полной информации о качестве теневого образования.

Область применения. Возможным применением результатов исследования может быть обеспечение более полной информации о качестве различных практик и программ теневого образования.

Часть 3

Предмет исследования: перенос знаний

Цель исследования:

Зафиксировать отношения между степенью сформированности предметных знаний и возможностью применять их в другом контексте. 

Эмпирическая база исследования:

Совместная выборка TIMSS-2011 (8 класс) и PISA-2012 включила 4241 российских школьников из 229 школ. Доля девочек составила 49,8%, мальчиков соответственно - 50,2%. Возраст учащихся (на 2012 год) находился в пределах 14 - 18 лет (M=15,9; SD=0,50).

Результаты исследования:

Была обнаружена положительная связь между уровнем сформированности предметного знания и способностью перенести и применить его в ситуации, приближенной к реальной: чем лучше учащийся владеет предметным материалом по математике, тем с большей вероятностью он сможет применить это знание для решения проблемы в неакадемическом контексте. Однако, эта связь не является линейной: только владение материалом на самом высоком уровне значительно облегчает перенос. Средние уровни  владения предметным материалом мало дифференцируют успешность в контекстуальных задачах. Результаты обсуждаются в плоскости эффекта формально-предметного обучения для решения задач во вне-академическом контексте.

Часть 4.1

Название проекта: Профессиональный портрет учителя математики российской школы

Цель исследования:

Описание профессионального портрета учителя математики российской школы на основе данных международных исследований и сравнительный анализ характеристик российского учителя математики и учителя математики из других стран.

Объект исследования: учителя математики основной школы.

Предмет исследования: социально-демографические характеристики, профессиональные знания и мотивационно-личностные характеристики российского учителя математики основной школы.

В качестве эмпирической базы исследования использовались база данных TEDS-M 2008 года для описания профессиональных знаний учителя; удовлетворенность работой и установки оценивались по результатам собственного пилотного исследования с помощью анкеты NorBA; для описания социально-демографических характеристик были использованы данные Федерального агентства образования и собственного исследования.

Опросник NorBA включает в себя 5 модулей: (1) общая информация (контекстные данные); (2) климат в школе; (3) общие установки о преподавании; (4) установки об эффективном преподавании математики; (5) представление о собственной практике в классе. Каждый модуль состоит из утверждений, для оценки согласия с которыми используются 5- или 4- бальные шкалы Ликерта. Одной из основных задач проекта являлась валидизация опросника NorBA на российской выборке испытуемых и обоснование возможности проведения международного сравнительного исследования установок и практик учителей математики разных стран.

Методология исследования включает в себя методы математической статистики (корреляционные исследования, дисперсионный и регрессионный анализ, структурное моделирование, факторный анализ – конфирматорный и исследовательский), методы современной теории тестирования IRT, методы качественного исследования.

Результаты исследования: 

Данное исследование посвящено выявлению и описанию психологических и профессиональных черт учителя математики в России и сравнению полученного портрета с результатами международных исследований.

В работе представлен обзор исследований, проведенных за последние 15 лет и посвященных изучению учителей математики. Проведено собственное исследование установок учителей математики при помощи опросника учительских установок Северобалтийского сравнительного исследования учителей математики (NorBA). В исследовании приняли участие учителя математики 5-11 классов.

 Основываясь на данных международного сравнительного исследования TEDS-M 2008 года и собственного исследования, был описан портрет российского учителя. Полученный портрет содержит информацию об уровне знаний учителей математики, как по содержанию своего предмета, так и по педагогике; описаны социально-демографические характеристики; особый акцент сделан на внутренние установки учителя по отношению к математике как науке, обучению математике, собственной практике.

В результате анализа литературы было выделено три основных группы черт, которые составляют профессиональный портрет учителя, это: социально-демографические характеристики; профессиональные знания и мотивационно-личностные характеристики (удовлетворенность работой и установки).

Результаты исследования показали, что студенты-выпускники российских педагогических ВУЗов, будущие учителя математики, имеют высокий уровень подготовки, как по фундаментальной математике, так и по методике преподавания математики. Однако менее трети выпускников планирует в будущем работать в школе. На настоящей момент в школе преподает всего 4% учителей моложе 26 лет, средний возраст учителей составил около 48 лет, а пенсионного возраста - 26% учителей.

Проведено пилотное исследование установок и практик российских учителей математики с помощью анкеты международного исследования NorBa (по изучению установок учителей математики). В исследовании приняли участие 385 учителей из Латвии (средний возраст 46,7, стаж 23,3); 327 учителей из Эстонии (средний возраст 46,9, стаж 22,8), и 1223 учителя из Красноярского края, Россия. Международный статус исследования позволил провести сравнительное исследование установок и практик учителей математики основной школы в трех странах – Эстонии, Латвии и России. В частности,  было осуществлено сравнение установок и практик российских учителей и русскоговорящих учителей из Эстонии и Латвии.

Большинство российских учителей демонстрируют высокий уровень удовлетворенности работой. Большинство российских учителей математики имеют конструктивистские установки и реализуют их на практике. Уровень конструктивизма российских учителей значимо выше уровня конструктивизма учителей других стран-участниц. Учителя математики Эстонии склонны совмещать в преподавании традиционный и конструктивистский подход к обучению, чем отличаются от учителей других стран-участниц. Возможно, именно в этом кроются причины успеха эстонских школьников в исследовании PISA по математике. Российские учителя придерживаются системного подхода в своих представлениях о преподавании математики: математика понимается как система, делается акцент на  строгие доказательства, логику, точные определения и грамотное использование математического языка. Это поддерживает предположение о том, что в России ещё сильны традиции высокого качества математического образования.

Результаты исследования помогут точнее оценить ситуацию в общеобразовательной школе и спрогнозировать ее развитие.

Часть 4.2

Предмет исследования: связь характеристик учителя и достижений школьников при решении простых и сложных математических задач

 Цель исследования:

- описать национальные достижения в международных тестах, проверяющих качество образования, в терминах успешности решения простых  и сложных заданий по математике;

- выявить влияние характеристик учителя и учительских практик на успешность учащихся в простых и сложных математических заданий. 

Эмпирическая база исследования:

Выборка TIMSS-2011 (8 класс) 5008 (из них 4 не валидных результата) человек (49,2% девочек и 50,7% мальчиков). Они представляли 211 школ, 230 классов и 231 учитель по математике (существуют классы, в которых математика преподается 2-мя преподавателями). Около 49,6% данной выборки составляли девочки, 50,4% соответственно мальчики.

Результаты исследования:

- Все учительские практики, применяемые на уроках математики можно разделить на 3 группы: решение учащимися заданий по математике повышенной сложности; решение учащимися рутинных задач; решение учащимися задач под контролем преподавателя;

- Если сложные задач связаны с более высокими  достижениями учащихся в математике, то решения стандартных задач, требующих механического применения формул и полученных знаний,  - с более низкими результатами снижают способности детей в данном предмете;

- В результате было принято решение изменить метод анализа данных на  фиксацию группы  заданий из самых сложных заданий PISA и проверка успешности их решения детьми, находящихся в TIMSS в разных по уровню достижений группах.  тестовых заданий подходящего уровня трудности, который позволит оценить вклад предметного знания, мышления по аналогии, оперативной памяти, объема внимания на решение вне-предметных (контекстуальных) задач. Работа, выполненная по этому плану представлена в рубрике НАПРАВЛЕНИЕ 3 «Когнитивные навыки и национальные достижения в международных исследованиях качества образования».

Применение полученных результатов:

Проведенный в рамках данной работы анализ является предварительным этапом для  дальнейшего исследования национальной базы TIMSS-2011/PISA-2012 и ряд выдвинутых исследовательских гипотез подлежит последующей проверке.

Публикации по проекту:


Nezhnov P., Kardanova E., Vasilyeva M., Ludlow L. Operationalizing Levels of Academic Mastery Based on Vygotskys Theory: The Study of Mathematical Knowledge // Educational and Psychological Measurement. 2015. Vol. 75. No. 2. P. 235-259. doi
Loyalka P., Zakharov A. Does Shadow Education Help Students Prepare for College? / NRU Higher School of Economics. Series EDU "Education". 2014.
Енчикова Е. С., Карданова Е. Ю. Оценка качества образования в начальной школе (на основе инструмента SAM) // Качество образования в Евразии. 2014. № 2. С. 83-105.
Tyumeneva Y. A., Вальдман А. И., Carnoy M. How Well Do You Need to Know It to Use It? / NRU Higher School of Economics. Series EDU "Education". 2014.
Нежнов П. Г., Карданова Е. Ю., Рябинина Л. А. Исследование процесса присвоения учебного содержания // Вопросы образования. 2013. № 4. С. 168-187.
Carnoy M., Khavenson T., Ivanova A. Using TIMSS and PISA results to inform educational policy: a study of Russia and its neighbours // Compare: A Journal of Comparative and International Education. 2015. Vol. 45. No. 2. P. 248-271.

 

Нашли опечатку?
Выделите её, нажмите Ctrl+Enter и отправьте нам уведомление. Спасибо за участие!
Сервис предназначен только для отправки сообщений об орфографических и пунктуационных ошибках.