Чем может помочь инструмент на основе ECD?

На Международной летней школе Института образования НИУ ВШЭ, посвященной разработке тестов, регулярно преподает Марк Зелман – специалист Всемирного банка, который давно сотрудничает с Центром мониторинга качества образования Института. В этом году Марк вел трек, посвященный Evidence-Centered Design (ECD) – целостной идеологии разработки инструментов оценивания, в центре которой находится обеспечение валидности инструмента на всех этапах его разработки. Благодаря тому, что Марк знает русский язык, участники летней школы имели возможность получать информацию об ECD напрямую от профессионала мирового уровня.

- Марк, расскажите, в каких странах уже проводятся тестирования, которые разработаны в технологии Evidence-Centered Design?

- Дело в том, что тесты, основанные на этой технологии, должны быть разработаны заново. Не имеет смысла переводить на ECD тесты, разработанные на основе классической или современной теорий тестирования. Нужно либо проводить редизайн теста, либо создавать новый инструмент. Это происходит в небольшом количестве стран: в России, в Америке – и, насколько я знаю, больше таких инструментов пока нигде не создано. Потому что это новая технология, она еще не всем известна, и чтобы ее использовать, требуется большая экспертиза. Даже когда она была внедрена в крупнейшей в США тестологической компании ETS в 2004 году, у нас практически год ушел на то, чтобы разработчики тестов поняли, что от них требуется.

- В новом учебном году в Институте откроется Лаборатория современных технологий тестирования, в которой Вы будете научным руководителем. На чем бы Вы хотели сконцентрироваться при работе в Лаборатории?

- Мне бы хотелось, чтобы это была работа над такими проблемами, как epistemic games, анализ прогресса обучения, интеллектуальные обучающие системы, соединение учебной аналитики и психометрики.

- В психометрику приходят люди с довольно разным бэкграундом: например, из психологии, социологии, лингвистики. Вы начали заниматься психометрикой после того, как получили степень PhD по математике. Как Вам кажется, что дает сообществу психометриков разный бэкграунд его участников?

- Это зависит от определения психометрики, которое вы используете. Я где-то читал такое: психометрика – это когда берешь что-то принадлежащее человеку, держишь в руке и можешь предсказать людям их будущее (смеется). Но, конечно, это гораздо более «круто», чем то, что мы на самом деле можем делать. В принципе, психометрика и ассесмент берут информацию и методы из различных областей. Допустим, Evidence-Centered Design основан на идеях философии Тулмина, кроме того, там используются принципы, которые были использованы в архитектуре, в компьютерных науках, в психологии. Естественно, когда человек приходит в психометрику из какой-то другой области, он привносит в нее свою методологию, свой взгляд на вещи. Допустим, в ETS, в отделе исследований и разработок работают люди, которые были лингвистами. И очень много людей, которые были инженерами, например, Ledyard Tucker.

- Расскажите о Вашей работе на Ямайке. Что за инструмент там разрабатывается?

- На Ямайке разработали новый образовательный стандарт. Я руковожу созданием системы оценивания для этого стандарта, для различных уровней и различных целей. Разрабатывается тест навыков мышления высокого порядка, тест общих способностей, некогнитивных навыков, так как в стандарте заложено их развитие. Оценивание навыков мышления высокого порядка должно быть операционализировано к 2019 году, но другие компоненты ассесмента еще не будут операционализированы к этому моменту. После окончания работы над инструментом его нужно будет развивать, поддерживать.

- Что выиграет Ямайка от того, что в итоге у нее будет такой большой инструмент?

- Во-первых, это позволит делать надежные и валидные заключения о тех, кто сдает тест. Детей будут направлять в определенную школу, которая для них больше подходит. Во-вторых, инструмент поможет учителям построить процесс обучения, который полностью подходит для ребенка, а также позволит интерпретировать образовательную программу. Также такой инструмент позволит подготовить доказательства того, что ученики готовы к карьере и поступлению в колледж. Вся система поможет посмотреть, где на пути к успешности по окончании школы ребенок реально находится, и разработать систему помощи.

- На летней школе Вы вели русскоязычный трек. У многих участников возник вопрос: насколько давно Вы знаете русский язык, и насколько сложно его было выучить?

- Я не учу языки в обычном смысле, я просто начинаю на них говорить, как разговаривают маленькие дети. Им же не рассказывают, что это вот такое слово, это – такое, это грамматически правильно, а это неправильно. Они просто открывают рот и разговаривают. Я делаю то же самое. Русский я учил в школе в качестве одного из иностранных языков. Моя школа находилась недалеко от Женевы, и на выходные меня туда отвозили. В Организации Объединенных Наций были русские дипломаты с детьми примерно моего возраста, я с ними играл. Так я и выучил русский язык, разговаривая с носителями языка моего возраста. А потом мне стали его преподавать, тогда я начал говорить и понимать… чувствовать язык.

 

Программа повышения квалификации "Теория и практика разработки тестов оценки знаний".
Цель программы: ознакомление  с циклом разработки тестов в образовании: от составления спецификации, разработки заданий различных форм до анализа психометрических свойств заданий.
С 25 по 29.09.17г. Подробнее по ссылке.

Очно-заочные магистерские программы для учителей истории, обществознания, русского языка и литературы, директоров и завучей школ, специалистов органов управления образованием.
Прием документов с 1 июня по 13 сентября 2017г.
Бюджетные места. При поступлении на платные места - работникам бюджетной сферы скидки до 50%. Подробнее тут. 

"Управление в высшем образовании" - очно-заочная магистерская программа для руководителей и экспертов-аналитиков высшего образования, способных разрабатывать и реализовывать планы развития вузов и их подразделений.
Бюджетные места. При поступлении на платные места - работникам бюджетной сферы скидки до 50%.
Прием документов с 1 июня по 13 сентября 2017г.

Аспирантская школа по образованию - вторая волна приема документов с 1 августа по 15 сентября 2017г.