18.02.2015 В рамках Семинара по Измерениям в социальных науках будет представлен доклад на тему "Систематический подход к разработке тестовых заданий: от сбора свидетельств до анализа результатов"

Систематический подход к разработке тестовых заданий: от сбора свидетельств до анализа результатов

Выступающие:

Светлана Авдеева, заместитель исполнительного директора Национального фонда подготовки кадров

Георгий Васин, эксперт Национального фонда подготовки кадров

Ксения Тарасова, эксперт Национального фонда подготовки кадров

Доклад посвящен систематическому подходу к разработке тестовых заданий (Evidence Centered Design), который связывает в одну теоретическую схему представления о структуре измеряемого конструкта, ситуации, в которой этот конструкт может проявиться и способах записи этих проявлений. Данный подход руководствуется такими вопросами как: «Какие данные, касающиеся навыка, мы можем получить, наблюдая за поведением тестируемого?» и «Как создать ситуацию, которая помогла бы в получении этих данных?».

Этот подход помогает создавать тесты, конструктная валидность которых обеспечивается самим способом разработки. Созданный более 10 лет назад, этот подход, в силу особенностей отрасли, достаточно редко применялся. В докладе мы продемонстрируем его применение в рамках Теста Информационно-Коммуникационной Компетентности (ICL Test), коснувшись теоретических основ и показав реализацию на примерах конкретных тестовых заданий сценарного типа.

Отдельное внимание будет уделено системе оценки результатов при помощи Байесовских сетей – гибкой статистической модели латентных переменных, позволяющей учитывать как структуру конструкта, так и способы сбора свидетельств о нем.

Evidence Centered Design: from gathering evidence to scoring examinees

Svetlana Avdeeva, National Training Foundation, Deputy Executive Director

Georgy Vasin, National Training Foundation, expert

Ksenia Tarasova, National Training Foundation, expert

The aim of this report is to show how Evidence Centered Design is used in test items development. Evidence Centered Design links theoretical scheme of construct structure with situations in which the construct might manifest itself and ways of capturing these situations.

This approach is guided by such questions as: "What information (data) can we get by observing examinees behavior?" and "How to create a situation that would help us to get useful information?".

This approach was developed over 10 years ago, but was rarely used. In this report we will demonstrate how said approach is used in ICL Test. We will touch upon theoretical framework and specific tasks from this test. Special attention will be given to Bayesian network. Bayesian network is a flexible statistical model which is used to evaluate examinees results.

Семинар пройдет по адресу Потаповский пер., 16/10, ауд. 309
Начало в 18:00
По поводу заказа пропуска в здание НИУ ВШЭ просьба обращаться к Брун Ирине ivbruun@gmail.com