Цифровым технологиям в образовании нужны эксперименты
Полная версия интервью Исака Фрумина, которое он дал корреспонденту «Российской газеты» Марии Агранович. Опубликовано 23 апреля, 2020 года.
– Какие проблемы показали первые недели дистанта?
– Некоторые из них были ожидаемыми. Например, низкая скорость интернета, недостаточная обеспеченность компьютерами и гаджетами. Об этих проблемах мы писали задолго до пандемии. Какие-то сложности можно списать на форс-мажорную обстановку. А какие-то оказались системными ошибками. Мы увидели, что безумные деньги и государства, и крупных корпораций долгое время вкладывались бестолково. Я имею в виду цифровые образовательные продукты, которые оказались бесполезными или недостаточно эффективными в «реальном онлайне», если можно так сказать. Мы увидели дефицит того, что нужно, и переизбыток того, что практически не работает.
– Почему так получилось?
– Потому что всем казалось, что так дешевле: положиться якобы на свой здравый смысл. Мы привыкли к тому, что какой-нибудь замечательный преподаватель показывает замечательный урок, и мы верим, что он добивается замечательных результатов. Или нам показывают дорогой цифровой продукт, и просто потому, что там бегают картинки и звучит музыка, мы полагаем, что это работает. Так тратятся деньги на то, что оказывается барахлом, вместо того, чтобы находить перспективные продукты с помощью эксперимента, а затем улучшать их эффективность. Это называется «доказательная педагогика». Для многих пока звучит довольно дико.
– В отличие от доказательной медицины, о которой сегодня очень много говорят.
– Потому что все обсуждают вирус, и мы все время читаем про новые необычные способы лечения, а серьезные ученые отвечают: «Нет, нет, подождите. Прежде чем судить об эффективности вакцины, нужно провести клиническое испытание». Фактически наш институт уже несколько лет занимается разработкой новых методов таких «клинических испытаний» – только для образования.
Вот уже лет пятнадцать во всем мире «золотым стандартом» в исследованиях образования, так же, как и в естественных науках, является строгий эксперимент. Доказательство того, что на таких же учениках, в таких же условиях новый метод работает лучше. Эксперименты нужны, чтобы твердо доказать, что именно это воздействие и стало причиной улучшений, ухудшений или не дало результата. Без такого анализа нельзя сегодня оценивать никакие образовательные продукты. Они могут быть красивые, сложные по технологии, но бесполезные или даже вредные.
В лучшем случае (и то редко) у нас пытаются строить корреляции – устанавливать взаимосвязь двух процессов. Например, мы подвели в школы интернет, раздали электронные копии учебников – и через год средний балл ЕГЭ вырос. Можно ли писать гордиться победой? Конечно же, нет! Простая корреляция не означает наличие причинно-следственных связей: у нас в институте это даже на стене написано. Есть хрестоматийный пример такой ложной связи: «Все, кто ел огурцы, умерли». Но ведь мы понимаем, что огурцы не были причиной смерти. Так и в образовании – нельзя утверждать, например, что введение уроков шахмат развивает у детей логическое мышление. Нужно доказать это в эксперименте. Наш молодой институт с самого начала взял на свой щит слово «Доказательность», мы ищем именно доказательные пути улучшения системы образования.
– И что показывают ваши «клинические исследования»? Какие неожиданности вы находите?
– Из совсем нового – довольно неожиданный вывод сделали наши научные сотрудники Игорь Чириков, Татьяна Семенова, Наталья Малошонок вместе с коллегами из Стэнфорда и Беркли. Они сравнили эффективность разных форм обучения для российских студентов инженерных специальностей. Исследование показало, что правильно построенный онлайн и смешанное обучение могут быть так же эффективны, как и традиционная форма.
Эту статью опубликовал в одном из недавних выпусков Science Advances – один из самых авторитетных журналов мира. За все время существования ВШЭ это вторая статья в журнале на основе вышкинских исследований. И это первое в мире исследование онлайн курсов для инженерных специальностей, проведенное на основе довольно сложной методики экспериментальной оценки эффективности. В прошлом году мы применили этот же метод, когда анализировали цифровые учебники сервиса «Яндекс.Учебник». Мы доказали – то есть, эксперимент показал, это важно, потому что у нас не было предварительных ожиданий, – что для значительной части детей новый инструмент работает. Он дает очень серьезный прирост в образовательных результатах.
В экспериментальной группе было три тысячи школьников, и столько же – в контрольной. А в исследовании инженерных специальностей приняли участие более 300 студентов в течение двух месяцев. То есть, инструменты, которые мы разрабатываем, действительно, можно сравнить с масштабными клиническими испытаниями.
– Если экспериментальные методы так хороши, то почему через них не проходят все образовательные продукты – опять же, как в фармакологии?
– Все не проходят, но популярность экспериментальной оценки результативности растет. После первых удачных исследований к нам обратилось уже несколько крупных цифровых компаний с просьбой оценить эффективность их инструментов. Сейчас с рядом университетов мы оцениваем эффективность введения некоторых новых характеристик онлайн-курсов. В целом же, к сожалению, приходится признать, что у нас нет культуры доказательной оценки образовательных результатов, эффективности тех или иных воздействий. Одна компания, узнав, что мы не гарантируем «положительного результата», отказалась сотрудничать. А ведь ее образовательные продукты идут к нашим детям
Не устаёшь удивляться: в стране реализуются такие гигантские проекты в сфере образования, а их эффективность оценивается по отчету о потраченных средствах, либо по методикам конца 19 века типа экспертной оценки.
Подчеркну, что «клинические испытания» нужны не только для оценки продукты или проекта, но и для его улучшения. Ведь процесс испытания дает очень много информации, которую можно использовать для доводки продукта перед массовым использованием. Не случайно в Китае даже крупные управленческие проекты в сфере образования сначала апробируются 2 – 3 провинциях, потом корректируются и распространяются на всю страну.
– Что нужно сделать, чтобы все перешли на «методики 21 века»?
– Во-первых, учить потребителей. Когда им «впаривают» очередную инновацию, то они должны научиться спрашивать, доказана ли ее эффективность. Во-вторых, надо воспитывать тех, кто принимает решения о расходовании средств на образовании. Они должны понимать, что здравый смысл и эстетические соображения не всегда могут быть основанием для того, чтобы вложить во что-то деньги – особенно государственные. Надо обязательно предусматривать оценку эффективности. Не случайно во многих странах сейчас работают специальные аналитические центры, которые определяют экспериментально – «что работает» в образовании, каковы эффекты тех или иных проектов. Ну и, наконец, надо просто готовить людей, которые умеют это делать. У нас, например, есть магистерская программа «Доказательное развитие образования», одна из немногих в мире, где обязателен курс экспериментального дизайна. И все наши аспиранты обязательно этому учатся. Я надеюсь, что через некоторое время в России уже будет «критическая масса» людей, для которых доказанная эффективность образовательных продуктов – да и не только их – будет обязательным критерием. А вслед за этим начнут меняться, подтягиваться, улучшаться все решения и инструменты в сфере образования.
- А как быть сегодня? Ведь многие цифровые продукты идут сегодня в школы без экспериментального доказательства эффективности.
– Откровенно говоря, в чрезвычайной ситуации нам порой не до проверки. Мы вынуждены действовать грубее, действительно полагаясь на здравый смысл. В таких ситуациях можно просто опираться и на опыт других пользователей, на их оценки продукта. Но все равно: при такой массовизации просто грех не проводить эксперименты – и для оценки эффектов, и для улучшения продукта. Если вернуться к аналогии с медициной, то мы ведь видим, как изобретательно медики экспериментируют с необычными лекарствами от опасного вируса. И людям пытаются помочь, и получить доказательства эффективности. Думаю, и нам надо действовать сегодня так же. Тогда из этого кошмарного кризиса мы выйдем с новыми цифровыми продуктами с доказанной эффективностью.
Фрумин Исак Давидович
Научный руководитель Института образования