Золотой стандарт исследования приложили к образованию: как использовать открытия Нобелевских лауреатов – 2021 для реформ в отрасли, обсудили на вторничном семинаре Инобра

При слове «эксперименты» многие представляют мышек в лабораториях – кажется, что это несовместимо ни с исследованиями образования, ни с общественными науками вообще. Американские ученые Дэвид Кард, Джошуа Ангрист и Гвидо Имбенс доказали, что эксперимент возможен – вернее, предложили новаторские квазиэкспериментальные методы. За что два месяца назад и получили Нобелевскую премию по экономике. На вторничном семинаре Инобра разбирали, что эти методы могут дать сфере образования и что благодаря им уже выяснили.

Трудности эксперимента 

Если в естественных науках выдвинутую гипотезу можно проверить с помощью контролируемого рандомизированного лабораторного эксперимента, то в общественных науках использовать такой метод получения достоверного результата гораздо сложнее, а иногда и невозможно. Из-за слишком высоких затрат или по этическим соображениям. Исследователь может выступать лишь в роли наблюдателя за процессами, происходящими в реальной жизни – следить за так называемым естественным экспериментом. Однако установить причинно-следственную связь между произошедшим событием и результатом оказывается непросто. Нередко за нее принимали лишь случайную корреляцию разнородных данных.

«Всех родителей интересует вопрос, когда отдавать ребенка в школу. Раньше или позже? Чтобы проверить эффективность такого решения, придется зачислять детей в школу не по решению родителей, а по случайному основанию, подбрасывая монетку. Конечно, никто не согласится участвовать в таком эксперименте. И именно в таких ситуациях начинается поиск в реальной жизни естественного эксперимента с одновременным поиском инструмента, который позволит получить обоснованный вывод».

Сонин Константин Исаакович
Профессор Чикагского университета и НИУ ВШЭ, научный руководитель Факультета экономических наук НИУ ВШЭ (включен Минюстом в список физлиц, выполняющих функции иностранного агента).

Революция достоверности

Так называют открытие американских ученых, Нобелевских лауреатов 2021 года, Дэвида Карда, Джошуа Ангриста и Гвидо Имбенса. Они заявили, что выводы только на основании корреляции данных могут вести к ошибке. По-настоящему достоверным результат естественного эксперимента можно считать лишь тогда, когда в данных  будет найдена и доказана устойчивая причинно-следственная связь. Предложенные методы получили название разности разностей (difference-in-differences) и локального среднего эффекта воздействия (local average treatment effect).

Еще в 1950-х годах ученые предположили, что длительность обучения со временем положительно влияет на доходы человека. Однако на результат могут влиять и другие факторы: ситуация в экономике, личные качества человека. А главное – его собственный выбор, что вредит достоверности эксперимента из-за ошибки самоотбора (selection bias). В 1990-х годах Ангрист, используя свой метод локального среднего эффекта воздействия, сумел исключить всё, что вредит эксперименту, и достоверно доказал, что между длительностью учебы и последующим благосостоянием существует причинно-следственная связь. Учиться дольше действительно выгодно. Таким же способом он обосновал, что уменьшение количества детей в классе положительно сказывается на их успеваемости, и что техническая оснащенность школ влияет на качество обучения.

Разработанный Кардом метод разности разностей применялся им для эмпирических исследований экономики труда. Например, как повышение минимальной заработной платы скажется на уровне занятости низкоквалифицированных работников. Чтобы оценить эффект от воздействия в определенной группе, необходимо не только измерить, как изменились данные до и после такого воздействия, но и провести сравнение таких изменений в похожей по всем показателям группе, в которой в этот же период никакого воздействия не было.

 

Инструмент реформ 

Сегодня методы американских ученых позволяют далеко продвинуться в исследовании причинно-следственных связей в общественных науках. Они используется для оценки последствий любых воздействий в самых разных сферах общественной жизни: в экономической политике, в бизнесе, в государственном управлении. Кроме того, эти методы применяются для машинного обучения, где собирается и обрабатывается огромный объем данных.

Научные подходы нобелиатов в полной мере приложимы и для получения ответов на многие проблемные вопросы в образовательной отрасли.  С помощью них можно изучать не только текущее состояние дел, но и эффект от реформ, которые направлены на развитие образования. Это позволяет с опорой на научные и достоверные выводы вносить коррективы в процесс обучения на всех уровнях. Так образование не потеряет связь с современностью, а выделяемые на него средства будут использоваться наиболее эффективно.

«Применять на практике методы Ангриста, Имбенса и Карда лучше в сочетании с другими подходами. Надо двигаться поступательно: от лабораторного эксперимента к реальному, от локального к более масштабному. Это особенно важно в образовании, где какие-то новации, интервенции лучше сначала обкатать на региональном уровне и только потом, при выявлении положительного эффекта, выводить на макроуровень. Не навреди – это не только медицинская заповедь».

Белянин Алексей Владимирович
Старший научный сотрудник Международной лаборатории экспериментальной и поведенческой экономики, старший научный сотрудник Центра социокультурных исследований, научный руководитель специализации образовательной программы «Экономика и экономическая политика»

 

Запись семинара доступна по ссылке.

Презентация (PDF, 1.57 Мб)