Курсы для взрослых научились оценивать по-новому – инструмент Инобра опробовали для оценки эффективности программ «Яндекс.Практикум»

В России появился новый инструмент, который позволяет косвенно оценивать качество курсов переподготовки и других программ для взрослых с точки зрения достижения целей обучения. Он построен на анкетировании выпускников курсов и таком методе обработки их ответов, который позволяет объективно оценить изменения в карьере, доходах – и в целом удовлетворенность курсами. Методику разработали в Центре социологии высшего образования Инобра НИУ ВШЭ и применили для анализа эффективности семи программ сервиса «Яндекс.Практикум». Теперь инструмент будут использовать для мониторинга сервисов «Яндекс.Практикум», «Нетология», а в перспективе – любых проектов для обучения взрослых.

«Потребовалось две волны исследования на материалах «Яндекс.Практикума», а также одна волна на данных школы Elbrus Coding Bootcamp, прежде чем мы нашли оптимальную методологию, – рассказала научный сотрудник Центра социологии высшего образования Евгения Шмелева . – Она построена на оценке того, насколько реализованы цели выпускников курсов в пределах полугода после обучения. Для этого, во-первых, была разработана анкета, в которой заложены индикаторы достижения целей, с которыми студент пришел учиться – например, повышение, смена работы или получение новых проектов и задач на текущем месте работы. Благодаря системе маршрутизации время прохождения анкеты оптимизировано, а сама анкета индивидуализирована – каждый респондент получает только релевантные вопросы в зависимости от целей, которые он ставил. Это позволяет посчитать показатель достижимости всех целей обучения совокупно среди всех выпускников – то, что называют transformation rate на российском рынке EdTech. Во-вторых, благодаря применению разных способов достижения респондентов (email, sms, обзвон), мы достигаем достаточно высокого отклика (более 40%) с минимальными смещениями выборки относительно характеристик всех выпускников. В-третьих – возможно, это самое важное – мы применили способы оценки качества полученных данных, обеспечили прозрачность и чистоту методологии. Например, исключаются анкеты, в которых человек отвечал необдуманно, мы учитываем время прохождения опроса, смещения в выборке и многие другие факторы. Отчеты об исследовании детализированы и публичны: например, их можно прочитать здесь https://practicum.yandex.ru/jobreport. Всё это позволяет получить более объективный и честный результат».

Исследование проведено в конце прошлого года на почти тысяче анкет выпускников семи курсов «Яндекс.Практикума» – все они связаны с IT-специальностями. По данным исследования, 63% студентов не имели на момент поступления опыта работы в IT, 77% хотели поменять профессию или место работы. 78% выпускников трудоустроились на момент опроса (в начале 2021 года этот показатель составлял 71%). В возрастной группе 40+ работу удалось сменить каждому второму. Зарплата выросла у каждого второго (у 33% доход остался прежним, у 15% уменьшился). 80% выпускников сообщили, что добились результата, который ожидали от курсов. 

«Сегодня онлайн-образование становится все более популярным инструментом для перехода в новую профессию. Самыми востребованными образовательными программами среди них по итогам прошлого года стали программирование на разных языках (курсы выбрали 40% учащихся) и аналитика данных (25% студентов). Также мы видим увеличение спроса на направления маркетинга, управления и дизайна», – рассказал Евгений Лебедев, руководитель сервиса «Яндекс.Практикум» в России . 

Инструмент будет использоваться для регулярных мониторингов «Яндекс.Практикума» и «Нетологии» – по три раза в год, также в Инобре ожидают, что его начнут применять другие крупные игроки рынка образования для взрослых. «Каждый, кто всерьез работает в EdTech, заинтересован в том, чтобы доказать, что его продукт качественный. С этой точки зрения наблюдать, сколько людей из тех, кто пришел учиться, реализовали свои цели – подход перспективный. Это пытались оценивать и сами сервисы, но до сих пор им не удавалось обеспечить достаточный уровень объективности и чистоты результатов. Мы создаем инструмент, который могут использовать те игроки рынка, которые хотят фактами подтвердить свои обещания», – отмечает Евгения Шмелева.

Пока методика, предложенная Инобром, работает для тех программ обучения взрослых, которые связаны с получением новых профессий или переподготовкой. Применить его к программам просветительским, общеразвивающим несколько сложнее. В мире есть несколько аналогов, например, в Австралии похожим образом оценивают качество программ высшего образования (проект ComparED:https://www.compared.edu.au/browse-institutions). По словам Евгении Шмелевой, применять такой подход для оценки университетов в России теоретически возможно, но пока вряд ли целесообразно на практике: «Университетов много, а обеспечить подобные исследования могут лишь некоторые. В таком случае оценка удовлетворенности и эффективности станет еще одним инструментом конкуренции между лучшими – не уверена, что это пойдет на пользу высшему образованию».

Подробнее о результатах исследования курсов «Яндекс.Практикум» можно прочитать здесь: https://www.cnews.ru/news/line/2022-01-27_issledovanie_vshe_78_vypusknikov. Подробнее о первых двух волнах исследования: https://ioe.hse.ru/stand_up_and_fight