Школу и вуз ждут великие измерения

Аспирантская школа по образованию ВШЭ продолжает набор на трек «Измерения и оценивание в образовании». Те, кто на него поступит, смогут участвовать в нескольких масштабных проектах по  созданию новых инструментов измерений в образовании. Их запуск поможет лучше представить российские вузы в мировых рейтингах, повысит мобильность студентов и даст больше шансов выпускникам с российскими дипломами. А инструмент для школы позволит учителям точнее настраивать учебную программу под каждого ученика. Для аспирантов Инобра – это возможность начать научную карьеру с масштабных проектов и стабильной работы в Центре психометрики и измерений в образовании. О трех новых проектах рассказали сотрудники центра Елена Карданова, Екатерина Орел и Алина Иванова.

Тренд на критику

Первый инструмент, у которого еще нет названия, позволит измерять уровень критического мышления у студентов. Его заказала Вышка, на ее студентах первая версия инструмента будет опробована, вероятно, уже весной. «Вышке это интересно потому, что критическое мышление – важная часть универсальных компетентностей. Их развитие – одна из задач вуза даже по ФГОСам, но до сих пор в России нет понимания, как их оценивать и в принципе формировать», – рассказывает Екатерина Орел.

В мире есть: системы оценки качества образования с учетом уровня критического мышления студентов строятся, например, в Германии и США. «Постепенно это становится важным индикатором, это тренд, который входит в мировые рейтинги. Если мы хотим вписываться в мировое пространство, то должны создать свою систему оценки критического мышления».

Можно и не свою, и хорошие мировые аналоги есть, но адаптация именно такого инструмента – дорого и сложно: в других странах иной культурный контекст и требования образования. Впрочем, прообразы есть: психометрики Инобра «скрещивают» опыт немецкого CORA и американского HEIghten ETS. В российской версии студенту предстоит решить три задачи закрытого типа, то есть собрать ответ на вопрос (например, «Что такое редактирование генома?») из готовых блоков – сортируя факты и мнения, более и менее актуальные источники и т.д. Система на основе Evidence Centered Design оценивает эти действия по свидетельствам – как студент оценивает компетентность источника, релевантность информации, из чего складывает объяснения…

Дальше – три задания открытого типа, и это самое интересное. Студент получает вопрос, выходит в интернет, ищет информацию, сам пишет ответ, то есть делает примерно то же, что и в реальной жизни. Анализ его поведения в этой ситуации – сложная задача, которую пока решают эксперты (даже в немецкой CORA): оценивают результат «вручную». Аспиранты Инобра будут участвовать в создании автоматической системы, которая будет анализировать активность человека в интернете и написанный им текст.

Орел Екатерина Алексеевна
Центр психометрики и измерений в образовании: Старший научный сотрудник

Вторая задача для аспирантов – создать систему развивающих рекомендаций. Не просто «У вас хорошо / средне / слабо развит такой-то компонент критического мышления» (например, установление причинно-следственных связей), а адресные советы, что с этим делать

Экономика умения

Еще один инструмент – также для вузов, только более предметный. Он проверяет экономическую компетентность студентов и создан как для тех, кто учится на профильных специальностях, так и для тех, у кого экономика лишь один из базовых предметов. Это не проверка знаний. «Инструмент измерения экономической компетентности  WiWiKom построен на анализе практических ситуаций, а не на воспроизведении теоретических постулатов, оторванных от контекста. «Материалом» в данном случае выступает именно функциональное знание, измеряемое на уровне ситуаций «применения», которые и заложены в тест», – рассказывает Елена Карданова.

WiWiKom – международный проект, который Инобр адаптирует для России. Его разработали в университете Майнца, который выступает партнером Центра психометрики в нескольких проектах (там же создали и упомянутый до этого CORA). Нужен он, чтобы не только оценить уровень подготовки студентов-экономистов, но и объективно представить Россию в профильных мировых рейтингах: сейчас национальные версии WiWiKom используются в Германии, США, Японии, Корее, Мексике.

Задания, которые есть в инструменте, в Инобре адаптируют для России, уже провели три этапа апробации. Кстати, пробное массовое тестирование на пяти тысячах студентов показало, что около половины тех, кто изучает экономику, «не достигли даже уровня “Распознавание и понимание”». На этом уровне студент показывает, что ориентируется в терминах и помнит экономические правила. Дальше идут уровни «Явное применение» и, высший пилотаж, «Неявное применение», когда экономические концепции применяются, даже не будучи названными.

Несмотря на то, что русская версия WiWiKom уже тестировалась, работы с ней еще очень много.

Аспиранты в рамках этого направления могут заняться и в принципе оценкой образовательных результатов для студентов вузов, например, экономических специальностей, и оценкой экономических компетенций. Здесь много, над чем работать – отличаются ли они от экономической грамотности, как их измерять, как сообщать результаты, чтобы они были полезны для учебного процесса. WiWiKom – это только начало, на очереди – другие проекты по измерению компетенций студентов вузов, которые важны в современном мире.

Карданова Елена Юрьевна
Центр психометрики и измерений в образовании: Директор центра

 

Прогресс до выпускного

Третье направление, где ждут аспирантов – линейка инструментов для школы. Это продолжение проекта «Старт» – «Прогресс», который позволяет оценивать развитость навыков чтения, языка и счета у ребенка в начальной школе. Вот уже несколько лет инструменты для 1 и 3 классов позволяют учителям сначала понять, какие сильные и слабые стороны есть в подготовке каждого ребенка, который пришел в школу, а затем следить за его развитием – в чем отстает от сверстников, а в чем опережает, как растет над самим собой. Соответственно, и подстраивать учебную программу.

Психометрики привлекут аспирантов для того, чтобы доработать уже существующий инструмент для начальной школы, создать новый инструмент, ориентированный не столько на измерение базовых навыков, сколько на конкретные предметы, а также создать его продолжение для 5 – 9 классов и отслеживать прогресс не только по математике и русскому языку, но и в будущем по другим предметам.

«Старт» для первого класса работает полностью автоматически – разве что учитель сидит за компьютером и вводит цифры и слова, которые называет ребенок, отвечая на вопросы системы (выглядит это как игра). В третьем классе школьник пишет ответы сам. Здесь задача усложняется. Если математический блок система также анализирует сама, то ответы на задания, например, по чтению все еще оценивают люди. «Почему, по-твоему, герой этого рассказа оставил своих друзей?» – и ребенок своими словами, с ошибками, пишет ответ. Может ли его проверить компьютер? Да.

У нас был опыт с системой автоматической проверки таких ответов, но ее нужно развивать и усиливать, и это первая перспективная задача для аспирантов. Вторая: автоматическая генерация заданий. Сейчас «Старт» и «Прогресс» работают на нескольких комплектах заданий, разработанных людьми. Но наша задача для новых создаваемых инструментов для начальной школы и основной школы – найти такой метод автоматической генерации, чтобы получилось фактически бесконечное или хотя бы достаточно большое количество вариантов тестов для начальной школы.

Иванова Алина Евгеньевна
Центр психометрики и измерений в образовании: Научный сотрудник

Третья задача – включиться в разработку моделей заданий по естественнонаучным дисциплинам для 5 – 9 класса. «Если аспиранты имеют педагогический опыт, были предметниками по естественно-научному блоку, знакомы с тест-девелопментом или готовы его интенсивно изучать, и быстро развиваться в этом направлении, то будем рады встроить их в этот проект».    

 

В этом году на треке «Измерения и оценивания аспирантуры» – пять новых мест. Приглашаем тех, кто знаком с базовой статистикой, интересуется измерениями, тестами, анализом данных. Не обязательно с опытом в сфере образования, но с интересом к ней, который вы готовы обосновать в мотивационном письме.

Напомним, что прием в аспирантуру уже идет и продлится до 12 марта. 

Чтобы подать заявление на трек «Измерения и оценивание в образовании», нужно указать  его в заявлении и приложить к документам мотивационное письмо. Предварительно можно проконсультироваться с директором аспирантской школы Евгением Терентьевым: eterentev@hse.ru