Международная летняя школа по разработке тестов
С 23 по 29 июля в учебном центре НИУ ВШЭ «Вороново» состоялась IV ежегодная летняя школа «Теория и практика разработки тестов в психологии и образовании». На протяжении недели участники летней школы знакомились на занятиях преподавателей из США, Голландии, России с новыми подходами к разработке тестов, к разработке заданий, оценивающих выполнение деятельности, с системами оценки качества тестов. На школу приехало более 30 человек из разных городов России, из Казахстана, Киргизии, Беларуси, Азербайджана, Италии. Организатор школы – Центр мониторинга качества образования Института образования НИУ ВШЭ.
Evidence-Centered Design
Русскоязычный трек школы был посвящен новой, набирающей популярность системе разработки тестов – Evidence-Centered Design (ECD). Evidence Centered Design представляет собой целостную идеологию разработки инструментов оценивания, в центре которой находится обеспечение валидности инструмента на всех этапах его разработки. Занятия на треке вели эксперт Всемирного Банка Марк Зелман и специалисты Института образования НИУ ВШЭ Екатерина Орел и Ирина Брун.
Несмотря на то, что процесс разработки тестов на базе ECD достаточно долгий и ресурсозатратный, в итоге получается очень точный и умный инструмент для оценивания даже, казалось бы, с трудом поддающихся измерению конструктов – таких, как навыки XXI века. В идеологии Evidence-Centered Design в Институте образования при участии фонда Сбербанка «Вклад в будущее» создается инструмент по оценке у школьников четырех компетенций: креативности, критического мышления, коммуникации и кооперации. О том, какие сложности и открытия сопровождают процесс дизайна инструмента оценки 4К, на специальном мастер-классе участникам школы рассказали разработчики Екатерина Орел и Ирина Брун.
Специалист отдела исследований и разработок лаборатории «Гуманитарные технологии» при МГУ
Я понял, что Evidence-Centered Design – это не новый тип построения теста, а новый тип размышления о психометрике. Это очень технологичная система. Мне казалось, что здесь будут какие-то другие правила – например, построения шкал. А здесь все скорее переведено на другой язык и построена хорошая, обоснованная модель над известными системами построения тестов. Я осознал, что логичнее сначала думать о философии инструмента, а потом ее воплощать, чем применять одну и ту же практику к разным задачам.
Участники первого трека разрабатывали в группах дизайн инструмента по оценке выбранного ими самими конструкта: командной работы преподавателей вузов, стилистической грамотности, адаптивности, переноса естественнонаучных знаний в практику.
Системы оценивания качества тестов
Англоязычный трек летней школы состоял из двух курсов. Первый из них вел Бас Хемкер из Института педагогических измерений CITO (Нидерланды). Он рассказывал о мировых системах экспертизы качества тестов. Бас Хемкер не только руководит одним из центров CITO, но и является членом голландского комитета по оцениванию качества тестов COTAN. Поэтому он подробно рассказал о самых крупных системах оценивания качества тестов, как психологических, так и в области образования, описал, как на практике работает система оценивания качества теста COTAN и с помощью каких методов разработчики тестов из CITO получают доказательства надежности и валидности своих инструментов.
Докторант университета Удине (Италия)
Я пишу диссертацию на материале проекта по адаптации инструмента для оценивания уровня развития речи детей в возрасте от 4 до 12 лет. Изначально он был разработан для детей, говорящих по-итальянски, а сейчас команда адаптирует его на другие языки. Я отвечаю за адаптацию на русском. На лекциях Баса Хемкера говорилось о том, как адаптировать тесты с другого языка, какие уровни проверки они проходят. Сразу понимаешь, как надо изначально выстраивать работу. Важным для меня оказался и день мастер-классов, где Елена Юрьевна Карданова рассказывала про инструмент iPIPS. В идеале мне нужно сравнить результаты тестирования нашим инструментом с результатами тестирования другим похожим, уже валидизированным и стандартизированным инструментом для русского языка. Оказалось, что в iPIPS есть тесты, по структуре напоминающие наши. По сути, iPIPS – единственный инструмент, с которым нам можно «сравниваться».
Работая над групповым проектом, участники школы оценивали согласно разным системам валидность и надежность теста по диагностике синдрома дефицита внимания и гиперактивности у детей.
Performance-based tasks
На втором курсе англоязычного трека профессор Кэрол Майфорд из Университета Чикаго учила слушателей технологиям разработки performance-based items. К ним относятся задания, оценивающие результаты выступлений или проектной деятельности учащихся, а также все виды устных экзаменов и заданий открытого типа, эссе, сочинений. Научиться целостной разработке и непредвзятой оценке подобных заданий может быть полезно как для школьного учителя, который хочет уйти от классической пятибалльной оценки к более сложным и более продуктивным формам формирующего оценивания текущей работы учеников, так и для экспертов, создающих рубрики для оценки творческой части экзаменов с высокими ставками – например, ЕГЭ.
Заместитель директора Центра педагогических измерений в Nazarbayev Intellectual Schools (Казахстан)
В своей работе я курирую проект по текущему оцениванию и разработке заданий нового типа, ориентированных на деятельность. Блок, посвященный разработке и оцениванию performance-based task, был мне интересен именно поэтому. У нас сеть из двадцати школ по всей стране. Для Казахстана мы являемся экспериментальной площадкой: апробируем всевозможные новые методики на базе наших школ с последующей их трансляцией в страну. Нас интересует повышение валидности этих заданий и то, как обеспечить объективность, чтобы в разных классах по единым рубрикам на едином задании дети получали одинаковые результаты – или, по крайней мере, с допустимым отклонением.
Во время работы над собственным проектом слушатели трека разрабатывали инструменты для оценивания одного из заданий из гипотетического экзамена на шеф-повара – приготовление яблочного пирога, а также для оценивания типичного задания, сопровождающего обучение в Литературном институте – сочинение стихотворения.
В середине школы состоялся вечер национальной культуры — праздник, на котором преподаватели и слушатели школы творчески рассказывали о родных городах и странах и могли пообщаться в неформальной обстановке.
Главный специалист отдела «Кыргызтест» Национального центра тестирования при Министерстве образования и науки Киргизии
Я первый раз я участвую в школе такого уровня. Сейчас идет переосмысление системы образования во всех бывших советских республиках, и Кыргызстан – не исключение. Чтобы интегрироваться в мировое образовательное пространство, необходимо изучать инновации в сфере тестирования, менять приоритеты в составлении тестов в сторону навыков XXI века. В школах мы тоже переходим на компетенции, чтобы на выходе ученик не просто имел какие-то определенные знания, но и умел использовать эти знания в жизни и работе. Неделя на летней школе была очень загруженной, мы учились с утра до вечера. Нужно будет дома еще раз просмотреть все записи с лекций и мастер-классов, переосмыслить и внедрять в работу.
Программа повышения квалификации "Теория и практика разработки тестов оценки знаний".
Цель программы: ознакомление с циклом разработки тестов в образовании: от составления спецификации, разработки заданий различных форм до анализа психометрических свойств заданий.
С 25 по 29.09.17г. Подробнее по ссылке.
Очно-заочные магистерские программы для учителей истории, обществознания, русского языка и литературы, директоров и завучей школ, специалистов органов управления образованием.
Прием документов с 1 июня по 13 сентября 2017г.
Бюджетные места. При поступлении на платные места - работникам бюджетной сферы скидки до 50%. Подробнее тут.
"Управление в высшем образовании" - очно-заочная магистерская программа для руководителей и экспертов-аналитиков высшего образования, способных разрабатывать и реализовывать планы развития вузов и их подразделений.
Бюджетные места. При поступлении на платные места - работникам бюджетной сферы скидки до 50%.
Прием документов с 1 июня по 13 сентября 2017г.
Аспирантская школа по образованию - вторая волна приема документов с 1 августа по 15 сентября 2017г.