Без промпта в голове: студенты уверены, что умеют пользоваться ИИ — но это иллюзия

Студенты активно используют нейросети в учебе, но относятся к ним как к «черному ящику» — недостаточно хорошо понимают принцип работы и ограничения технологии. К таким выводам пришли эксперты Центра психометрики и измерений в образовании. Результаты исследования обсудили на семинаре Института образования ВШЭ.

© AI

Большинство студентов владеет только базовыми навыками и умеет формулировать простые запросы. Популярные курсы по промтингу также сфокусированы на инструментальном подходе. Они учат составлять запросы, но не объясняют, как устроен ИИ. Без этих знаний студентам сложно критически оценивать результаты. Причем и у технарей, и у гуманитариев этот навык развит примерно одинаково слабо.

Впрочем, такой подход характерен не только для курсов. 

«Общая проблема ИИ-грамотности в том, что исследований много, но до сих пор нет ясного представления, какие умения действительно важны. Чаще всего методики строятся на субъективных самоотчетах, поэтому картина получается искаженной. Если цифровые навыки обычно оценивают по реальным действиям, то в сфере ИИ все сводится к самооценке», — объясняет Алина Иванова.

Чтобы получить более объективную картину, исследователи предложили участникам не только заполнить анкету, но и выполнить практический тест. Студенты составляли запрос к нейросети для решения конкретной задачи. 

«Так мы получили возможность увидеть их реальные действия, а не только то, как они рассказывают о своих навыках в опросах», — говорит Ксения Тарасова.

Оказалось, что умение работать с нейросетями почти не связано ни с интересом к ИИ, ни с верой в его перспективы. Влияет не просто наличие опыта, а то, насколько осмысленно человек его использует. Вузы пока слабо помогают студентам разобраться с новой технологией — два года в магистратуре почти не меняют уровень владения основами искусственного интеллекта.

Можно было бы ожидать, что с опытом придет и понимание. Но на деле студенты, с одной стороны, все больше увлекаются нейросетями, с другой — не заботятся о том, чтобы глубже разобраться в технологии. Энтузиазм растет, а знания — нет. Ситуация меняется, только когда студенты сталкиваются с ошибками и ограничениями ИИ. Такое происходит редко, но именно это помогает относиться к технологии более критично.

Смотреть ВК видео   / Youtube