• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Международная летняя школа по разработке тестов

С 23 по 29 июля в учебном центре НИУ ВШЭ «Вороново» состоялась IV ежегодная летняя школа «Теория и практика разработки тестов в психологии и образовании». На протяжении недели участники летней школы знакомились на занятиях преподавателей из США, Голландии, России с новыми подходами к разработке тестов, к разработке заданий, оценивающих выполнение деятельности, с системами оценки качества тестов. На школу приехало более 30 человек из разных городов России, из Казахстана, Киргизии, Беларуси, Азербайджана, Италии. Организатор школы – Центр мониторинга качества образования Института образования НИУ ВШЭ.

Evidence-Centered Design

Русскоязычный трек школы был посвящен новой, набирающей популярность системе разработки тестов – Evidence-Centered Design (ECD). Evidence Centered Design представляет собой целостную идеологию разработки инструментов оценивания, в центре которой находится обеспечение валидности инструмента на всех этапах его разработки. Занятия на треке вели эксперт Всемирного Банка Марк Зелман и специалисты Института образования НИУ ВШЭ Екатерина Орел и Ирина Брун.

Несмотря на то, что процесс разработки тестов на базе ECD достаточно долгий и ресурсозатратный, в итоге получается очень точный и умный инструмент для оценивания даже, казалось бы, с трудом поддающихся измерению конструктов – таких, как навыки XXI века. В идеологии Evidence-Centered Design в Институте образования при участии фонда Сбербанка «Вклад в будущее» создается инструмент по оценке у школьников четырех компетенций: креативности, критического мышления, коммуникации и кооперации. О том, какие сложности и открытия сопровождают процесс дизайна инструмента оценки 4К, на специальном мастер-классе участникам школы рассказали разработчики Екатерина Орел и Ирина Брун.

Егор Дорохов

Специалист отдела исследований и разработок лаборатории «Гуманитарные технологии» при МГУ

Я понял, что Evidence-Centered Design – это не новый тип построения теста, а новый тип размышления о психометрике. Это очень технологичная система. Мне казалось, что здесь будут какие-то другие правила – например, построения шкал. А здесь все скорее переведено на другой язык и построена хорошая, обоснованная модель над известными системами построения тестов. Я осознал, что логичнее сначала думать о философии инструмента, а потом ее воплощать, чем применять одну и ту же практику к разным задачам.

Участники первого трека разрабатывали в группах дизайн инструмента по оценке выбранного ими самими конструкта: командной работы преподавателей вузов, стилистической грамотности, адаптивности, переноса естественнонаучных знаний в практику.

Системы оценивания качества тестов

Англоязычный трек летней школы состоял из двух курсов. Первый из них вел Бас Хемкер из Института педагогических измерений CITO (Нидерланды). Он рассказывал о мировых системах экспертизы качества тестов. Бас Хемкер не только руководит одним из центров CITO, но и является членом голландского комитета по оцениванию качества тестов COTAN. Поэтому он подробно рассказал о самых крупных системах оценивания качества тестов, как психологических, так и в области образования, описал, как на практике работает система оценивания качества теста COTAN и с помощью каких методов разработчики тестов из CITO получают доказательства надежности и валидности своих инструментов.

Надежда Елисеева

Докторант университета Удине (Италия)

Я пишу диссертацию на материале проекта по адаптации инструмента для оценивания уровня развития речи детей в возрасте от 4 до 12 лет. Изначально он был разработан для детей, говорящих по-итальянски, а сейчас команда адаптирует его на другие языки. Я отвечаю за адаптацию на русском. На лекциях Баса Хемкера говорилось о том, как адаптировать тесты с другого языка, какие уровни проверки они проходят. Сразу понимаешь, как надо изначально выстраивать работу. Важным для меня оказался и день мастер-классов, где Елена Юрьевна Карданова рассказывала про инструмент iPIPS. В идеале мне нужно сравнить результаты тестирования нашим инструментом с результатами тестирования другим похожим, уже валидизированным и стандартизированным инструментом для русского языка. Оказалось, что в iPIPS есть тесты, по структуре напоминающие наши. По сути, iPIPS – единственный инструмент, с которым нам можно «сравниваться».

Работая над групповым проектом, участники школы оценивали согласно разным системам валидность и надежность теста по диагностике синдрома дефицита внимания и гиперактивности у детей.

Performance-based tasks

На втором курсе англоязычного трека профессор Кэрол Майфорд из Университета Чикаго учила слушателей технологиям разработки performance-based items. К ним относятся задания, оценивающие результаты выступлений или проектной деятельности учащихся, а также все виды устных экзаменов и заданий открытого типа, эссе, сочинений. Научиться целостной разработке и непредвзятой оценке подобных заданий может быть полезно как для школьного учителя, который хочет уйти от классической пятибалльной оценки к более сложным и более продуктивным формам формирующего оценивания текущей работы учеников, так и для экспертов, создающих рубрики для оценки творческой части экзаменов с высокими ставками – например, ЕГЭ.

Айдана Шилибекова

Заместитель директора Центра педагогических измерений в Nazarbayev Intellectual Schools (Казахстан)

В своей работе я курирую проект по текущему оцениванию и разработке заданий нового типа, ориентированных на деятельность. Блок, посвященный разработке и оцениванию performance-based task, был мне интересен именно поэтому. У нас сеть из двадцати школ по всей стране. Для Казахстана мы являемся экспериментальной площадкой: апробируем всевозможные новые методики на базе наших школ с последующей их трансляцией в страну. Нас интересует повышение валидности этих заданий и то, как обеспечить объективность, чтобы в разных классах по единым рубрикам на едином задании дети получали одинаковые результаты – или, по крайней мере, с допустимым отклонением.

Во время работы над собственным проектом слушатели трека разрабатывали инструменты для оценивания одного из заданий из гипотетического экзамена на шеф-повара – приготовление яблочного пирога, а также для оценивания типичного задания, сопровождающего обучение в Литературном институте – сочинение стихотворения.


В середине школы состоялся вечер национальной культуры — праздник, на котором преподаватели и слушатели школы творчески рассказывали о родных городах и странах и могли пообщаться в неформальной обстановке.

вечер национальной культуры

Болотбек Макеев

Главный специалист отдела «Кыргызтест» Национального центра тестирования при Министерстве образования и науки Киргизии

Я первый раз я участвую в школе такого уровня. Сейчас идет переосмысление системы образования во всех бывших советских республиках, и Кыргызстан – не исключение. Чтобы интегрироваться в мировое образовательное пространство, необходимо изучать инновации в сфере тестирования, менять приоритеты в составлении тестов в сторону навыков XXI века. В школах мы тоже переходим на компетенции, чтобы на выходе ученик не просто имел какие-то определенные знания, но и умел использовать эти знания в жизни и работе. Неделя на летней школе была очень загруженной, мы учились с утра до вечера. Нужно будет дома еще раз просмотреть все записи с лекций и мастер-классов, переосмыслить и внедрять в работу.

Программа повышения квалификации "Теория и практика разработки тестов оценки знаний".
Цель программы: ознакомление  с циклом разработки тестов в образовании: от составления спецификации, разработки заданий различных форм до анализа психометрических свойств заданий.
С 25 по 29.09.17г. Подробнее по ссылке.


Очно-заочные магистерские программы для учителей истории, обществознания, русского языка и литературы, директоров и завучей школ, специалистов органов управления образованием.
Прием документов с 1 июня по 13 сентября 2017г.
Бюджетные места. При поступлении на платные места - работникам бюджетной сферы скидки до 50%. Подробнее тут

"Управление в высшем образовании" - очно-заочная магистерская программа для руководителей и экспертов-аналитиков высшего образования, способных разрабатывать и реализовывать планы развития вузов и их подразделений.
Бюджетные места. При поступлении на платные места - работникам бюджетной сферы скидки до 50%.
Прием документов с 1 июня по 13 сентября 2017г.

Аспирантская школа по образованию - вторая волна приема документов с 1 августа по 15 сентября 2017г.