Студентов измеряют вдоль и поперек: на что способна психометрика в сфере высшего образования

В стандарты подготовки студентов всех направлений входят так называемые универсальные компетенции. К ним относятся критическое мышление, коммуникация, проектная работа, экономическая грамотность... Соответственно, вузы должны не только формировать, но и оценивать эти компетенции. Но здесь подвижек нет: ни экзаменов по критическому мышлению, ни зачетов по коммуникации не появилось. Что может предложить современная наука? Это обсуждали на очередном семинаре «Измерения и анализ данных в психологии и образовании», который проводится МГППУ и Инобром.

Пока специалисты могут предложить инструменты измерения двух компетенций — критического мышления и универсальной грамотности. Оба разработаны Центром психометрики и измерений в образовании совместно с факультетом экономических наук Вышки, оба опробованы пока на студентах ВШЭ, но могут применяться и в других вузах. Разработчики рассказали, как устроены эти инструменты.

ПРОСТОТА — ЗАЛОГ УСПЕХА

Первый представленный инструмент — компьютерный тест, который оценивает критическое мышление студентов в онлайн-среде. Он выполнен на предметном материале экономики, хотя и не требует знать экономику дальше школьной программы. Тест можно использовать для оценки студентов на старте обучения. Его уже апробировали на выборке из 690 студентов Вышки, были доказаны его хорошие психометрические характеристики.

«Многие исследователи отмечают, что можно создать какой-то очень сложный инструмент, но его будет сложно доставлять до респондентов. Мы сделали ставку на простую браузерную версию, чтобы не было каких-то технических проблем с тем, чтобы студент мог пройти это тестирование. Соответственно, этот инструмент может получить широкое распространение»

Тарасова Ксения Вадимовна
заместитель заведующего Лабораторией измерения новых конструктов и дизайна тестов Инобра

Студенту предстоит решать задачи закрытого и открытого типа, сортируя факты и мнения, более и менее актуальные источники, оценивая релевантность информации и т.д. Таким образом можно измерять не только критическое мышление в целом, но и отдельные его компоненты — проверку исходной информации, анализ, рефлексию, аргументацию и выдвижение гипотез. Самой амбициозной задачей было с помощью многомерного моделирования объединить все эти результаты, зачастую разные, в некий общий уровень критического мышления в целом, и это удалось. Общий балл выведен, так что у инструмента большое будущее.

САМОЕ ТРУДНОЕ — ДАТЬ СОВЕТЫ

Второй представленный инструмент — компьютерный тест экономической грамотности. Он создавался с опорой на TUCE (Test of Understanding in College Economics) — широко используемого в мире тест экономической грамотности студентов, но получилась не просто «русская версия».

«Мы собираемся предложить тест мировому сообществу как новый инструмент измерения экономической грамотности. Сохранили структуру TUCE, такой же формат заданий, но продвинулись дальше, поработали и над возможностью проведения сопоставительных исследований с TUCE».

Карданова Елена Юрьевна
директор Центра психометрики и измерений в образовании Инобра

Тест также проходится на компьютере. Это не проверка знаний об экономике, не воспроизведение теоретических постулатов, оторванных от контекста, а анализ практических ситуаций, требующих экономической грамотности. Он уже прошел бОльшую «обкатку», чем тест критического мышления — помимо 500 студентов Вышки, его задания решали 4403 студента пяти российских вузов. Психометрическое качество оказалось хорошим, но предстоит еще решить, в каком виде моделировать результаты, чтобы давать участникам теста ценный фидбек, практические рекомендации.

НЕ ВСЁ ТАК ЯСНО

Что еще измерять в вузе, как это делать (и надо ли), обсуждали в дальнейшей дискуссии. Мария Добрякова, главный эксперт Лаборатории проектирования содержания образования Инобра, считает, что для измерения критического мышления (тем более, если оно делается на материале экономики) нужно разделить предметный контент и другие аспекты универсальной компетентности.

«Я могу хорошо понимать принцип, я могу этот принцип хорошо переносить из одной ситуации в другую, но я могу забыть факты и забыть термины. Это что будет значить — что я хуже владею этой темой, или наоборот, что я лучше ей владею? Или для хорошего владения я должна уметь и то, и то? Мне кажется, нужно очень чётко и структурировано отдавать себе отчет о том, как устроен тот контент, который мы закладываем в этот тест — насколько он на уровне принципов или насколько он на уровне фактов. Это очень сложная задача».

Добрякова Мария Сергеевна
главный эксперт Лаборатории проектирования содержания образования Инобра

«Вопрос остаётся глобальным — его надо решать, или, по крайней мере, двигаться в этом направлении: критическое мышление больше про предметность или всё-таки про общность? Я уверена, что какая-то часть должна быть общая — то же логическое мышление, без которого критическое невозможно. Хотелось бы, чтобы ваши исследования продвинули нас на этом пути».