Рынку EdTech нужен инструмент проверки обещаний – его придумали в Инобре и опробовали на Яндекс.Практикум и Нетологии

Рынок EdTech сам по себе очень молод, а пандемия здорово подстегнула его развитие. Мы начали привыкать и к тому, что возможны самые разные варианты дистанционной работы и учебы, и приняли тот факт, что иногда меняться приходится очень быстро – осваивать профессии, подтягивать квалификацию… Онлайн-продуктов, платформ, курсов появляется множество, а проверить их качество (и вообще понять, что является показателем их качества) – это по-прежнему сложная задача, о которой много спорят. Вариант, каким может быть такой инструмент, представили на вторничном семинаре Инобра. Пока это еще «пилот», но, возможно, в будущем из него вырастет методика, востребованная во всем секторе обучения взрослых.

В фокусе человек, а не продукт

Инструмент оценки одного из главных аспектов качества онлайн-образования взрослых придумали в Инобре. У исследования были внешние заказчики – таким образом команды Яндекс.Практикума и Нетологии оценили, сколько человек из тех, кто пришел учиться, достиг целей обучения.

«Сначала мы заходили со стороны слушателей – что может помочь им с навигацией на этом новом рынке, где каждый день появляются новые игроки. Затем начали обсуждать с партнерами из EdTech, и увидели встречный интерес. Выяснилось, что EdTech-компании собирают много бизнес-метрик, которые позволяют измерить экономическую эффективность, но есть дефицит инструментов, которые помогут оценить – а что происходит с человеком, который попадает в «черный ящик» этих продуктов».

Терентьев Евгений Андреевич
Институт образования: Директор

Так рождался инструмент, который опирался на оценку пользователями своего опыта. Это, конечно, не исчерпывает вопрос о качестве продукта, но помогает в первую очередь увидеть, что происходит с человеком после обучения, а не с продуктом.

Рынок обучения взрослых новым навыкам и профессиям полон маркетинговых обещаний. До сих пор нет понимания, как их проверить. Поэтому интерес исследователей сфокусировался прежде всего на достижении целей пользователями. 

Данные в EdTech были, но не те

Андрей Силин, представлявший на семинаре команду Яндекс.Практикума, рассказал, почему компанию не устраивали традиционные инструменты измерения, которые есть в сфере образования. Ведь, в принципе, любой курс можно оценить с позиции, какая доля студентов дошла до финала программы.

«Традиционные метрики тяжело сравнивать между курсами с разными образовательными моделями, курсами разной длины. Есть множество аспектов. Например, условно, на маркетолога учиться проще, чем на программиста, а формально эти курсы одинаковы – по 6 месяцев длиной. Поэтому для программистов отсев будет органически выше».

Андрей Силин
Руководитель карьерного центра «Яндекс.Практикум»

По этой же причине компании не удовлетворены и другими метриками, например, традиционным для бизнеса индексом измерения готовности клиента рекомендовать продукт другим. «Он показывает намерения людей, а не поведение», – считает представитель Яндекса. 

Опереться на достижение целей

По словам Евгении Шмелевой (Центр социологии высшего образования), исследователи поставили вопрос – что может говорить о том, что образовательный продукт удался? Можно посмотреть на прирост знаний и навыков, но это требует дорогих и сложных измерений. Можно узнать, как сами пользователи оценивают прирост компетенций, но их представления могут быть искажены, особенно под первыми впечатлениями. Можно смотреть на вовлеченность учащихся, но люди ценят онлайн за его гибкость и могут подходить к обучению избирательно. Или мы можем смотреть на то, насколько доволен пользователь, но если человек доволен – это не значит, что произошли изменения в его профессиональных качествах. 

В результате исследователи решили, что хорошим показателем того, что обучение привело к изменениям, станет показатель, сколько людей достигли своих целей. Здесь есть нюансы: и цели могут меняться, и достижение целей не во всем зависит от качества программы. В этом смысле у инструмента есть важное ограничение: он не может разделить эффекты, связанные с индивидуальными характеристиками людей, с усилиями сервиса по обучению и трудоустройству. 

В качестве «якоря» исследователи выбрали срок полгода: через это время выпускникам курсов Яндрекс.Практикум и Нетологии предстояло дать оценки достижению своих целей.

«Сначала мы фиксируем основную цель – зачем человек пришел учиться. Список вариантов сформирован на основе первых волн, возможны шесть разных траекторий опроса. Плюс мы даем возможность сообщить, что цель изменилась. Фиксируем, была ли цель достигнута – дальше вопросы зависят от цели. Затем про каждую из этих целей выясняем, когда она была достигнута. Здесь много нюансов. Например, если человек хотел найти работу, но через полгода не начал ее искать, то это отложенная цель, а не проблема с ее достижением, мы исключаем его из расчета доли достигших своей цели»

Шмелева Евгения Дмитриевна
Центр социологии высшего образования: Научный сотрудник

Опрос предполагал вопросы о том, как изменилась карьера, зарплата (это рассчитывалось по новой методике, позволяющей показывать медианные изменения) и многое другое. Было необходимо использовать разные способы сборы данных – и e-mail, и СМС, и обзвон. Данные первой волны показали, что на рассылку по электронной почте откликаются более лояльные пользователи. Возникал риск, что исследование привлечет только довольных, поэтому пришлось идти на дополнительные траты, чтобы иметь возможность получить, может, и не самую «красивую» картинку, но учесть весь спектр мнений.

Осталось докрутить и масштабировать

Такая методика вызвала заинтересованную дискуссию среди экспертов. Так, например, Илью Коршунова (Лаборатория непрерывного образования взрослых) смутило, что слишком мало места в исследовании отдано собственно профессиональному компоненту. По его мнению, достижение целей – это интересный, но слишком размытый показатель.

«Например, если цель – найти работу. Вы можете взять любую группу молодежи и отследить, что через полгода почти все это сделают, потому что в России низкая безработица. Анна Нетребко, прежде чем стать великой певицей, трудоустраивалась в театр уборщицей».

Коршунов Илья Алексеевич
Лаборатория непрерывного образования взрослых: Заведующий лабораторией

Андрей Силин возразил на это, что, по опыту «Яндекс.Практикум», люди, как правило, «приходят с целью получать хорошие деньги на работе, которая будет не угрюмой». А что до оценки их профессиональных навыков, то компании принимают выпускников на работу и тем самым показывают, что их удовлетворяют профессиональные качества этих людей. Тем самым это косвенно подтверждает уровень развития профессиональных навыков 

Спор вызвало и отсутствие контрольной группы в исследовании. Но подобрать такую группу сложно, хотя такие попытки делаются в подобных исследованиях.

«Для анализа такого рода мы использовали в качестве контрольной группы тех, кто к нам пришел на бесплатный микро курс, но не купил основной курс. То есть берем тех, кто хотел учиться, но не пошел. Не уверен, что это близнецы с точки зрения их характеристик, но других вариантов не было».

Андрей Андрусов
Инвестиционный директор Центра «СОЛь»

Если инструмент, созданный командой Инобра и «Яндекс.Практикум», получится развить и масштабировать, то у него большие перспективы. Он может массово применяться для оценки EdTech, стать основой его внутренних исследований. И даже лечь в основу системы навигации в образовании взрослых – своего рода букинга в ДПО. Также его можно расширить на высшее образование. Кстати, в Австралии такой подход лег в основу национальной системы оценки вузов.

Видеозапись семинара можно посмотреть здесь.

Презентация (PDF, 1.60 Мб)