• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Оценка различных вариантов проведения Государственной итоговой аттестации (в том числе, Единого государственного экзамена) в 2020 году с учетом международного опыта

Обоснование - анализ опыта зарубежных стран по изменению организационных форм экзаменов с высокими ставками в связи с распространением новой коронавирусной инфекции.

В связи с указом Президента РФ от 02.04.2020 № 239 «О мерах по обеспечению санитарно-эпидемиологического благополучия населения на территории Российской Федерации в связи с распространением новой коронавирусной инфекции (COVID-19)» и неясностью прогноза о заболеваемости этой инфекцией необходимо рассмотреть возможные решения по изменению форматов экзаменов с высокими ставками (далее по тексту — экзамены) и оценить готовность российской системы образования к принятию выбранных решений, а также возникающие при этом риски.

Для ответа на поставленные вопросы группой экспертов Института образования НИУ ВШЭ был проведен анализ решений, принятых в зарубежных странах, по изменению форматов экзаменов с высокими ставками; изучены ключевые показатели технических возможностей системы образования в России, от которых зависят альтернативные существующему форматы проведения экзаменов; оценены отдельные риски изменения форматов экзаменов.

Экзамены с высокими ставками (выпускные, вступительные, переводные между уровнями образования) имеют разные форматы и особенности проведения в разных системах образования, но все они отличаются массовостью, фиксированностью дат, необходимостью стандартизации условий проведения. Эти особенности ограничивают возможности приспособить экзамены с высокими ставками к ситуации «социального дистанцирования» (карантина), введенной для замедления распространения COVID-19. Более подробно описание решений по изменению формата экзаменов, принятых отдельными странами, представлено в Приложении 1.

Анализ международного опыта показал, что весной 2020 года в отношении экзаменов с высокими ставками в разных системах образования предложено четыре возможных решения. В документе приведен краткий анализ каждого из решений. Особое внимание уделено онлайнизации экзаменов — как одному из наиболее привлекательных в сложившейся ситуации решений, однако одновременно и наиболее дорогостоящему и влекущему наибольшее число рисков. Ни одна из стран мира на данном этапе не выбрала стратегию полного перевода экзаменов в онлайн-форму, хотя этот вариант активно обсуждался.

Важно отметить, что в каждой стране решение принимается взвешенно, с учетом сложившейся практики экзаменов с высокими ставками, а также возможных рисков, чтобы максимально обеспечить справедливость оценивания. При этом большое внимание уделяется оперативному информированию учащихся, их семей и школ о ведущихся работах и принимаемых решениях относительно сроков и форм экзаменов.

Перенос экзаменов на более поздний срок

Большинство государств выжидает развития ситуации с COVID-19, отложив экзамены до июня‒июля 2020. Это решение остро ставит вопросы о сроках приема студентов в университеты, поскольку эти сроки потенциально сдвигаются. Обсуждается возможность уменьшения количества обязательных экзаменов (Израиль) и последствия массового «свободного года» (США, Великобритания) (gap year — перерыв между школой и университетом, которые учащиеся делают специально, чтобы лучше понять свои интересы).

Оценка применимости переноса экзаменов с высокими ставками на более поздние сроки в Российской Федерации

Усиление мер санитарной безопасности на экзаменах

Германия приняла решение проводить очные экзамены в мае 2020 года, но ужесточить требования к условиям их проведения: в аудитории должно находиться не более 8 человек с дистанцией 1,5 ‒ 2,0 метра друг от друга. В ряде стран обсуждается массовое тестирование на коронавирус кандидатов, сдающих экзамены. Возможно, другие страны из числа тех, кто уже сдвинул сроки экзаменов (см. стратегию 1), последуют этому примеру.

Оценка применимости стратегии усиленной санитарной безопасности для Российской Федерации

Замена экзаменов альтернативными моделями оценивания

В Британии, Нидерландах и частично во Франции (для выпускного школьного экзамена) принято решение заменить экзамены оценкой, полученной на основании рейтинга учителей, накопленных работ и других факторов. Эту стратегию только что приняли и в Казахстане, где итоговая аттестация выпускников будет осуществляться на основании годовых оценок. Однако по Единому национальному тестированию, на основании которого происходит зачисление в вуз, решение пока не принято. Эту же стратегию в качестве возможной рассматривают в Республике Молдова, но окончательного решения не принято.

Великобритания — единственная страна, в которой уже опубликованы детализированные описания методологии расчета вероятностной оценки, которую учащиеся могли бы получить на экзаменах. Оценка рассчитывается на основе комбинации «свидетельств» достижений, таких как:

  • прогнозируемые преподавателями оценки, которые, по мнению учителей, дети наверняка получили бы, если бы преподавание, обучение и экзамены прошли в соответствии с расписанием;
  • результаты пробных экзаменов;
  • накопленная оценка за уроки и домашние задания учащихся;
  • любая неэкзаменационная оценка или курсовая работа;
  • общий прогресс в течение курса;
  • рейтинг учащегося в школе или колледже по успеваемости.

Предложенные школами оценки в дальнейшем передаются в экзаменационный департамент Ofqual, в котором собранные свидетельства будут обрабатывать, стандартизировать и финализировать с учетом следующих факторов:

  • рейтинг школы среди других школ,
  • средние результаты учащихся этой школы в прошлые годы,
  • распределение полученных оценок на национальном уровне.

Двухуровневый контроль в выставлении оценок предназначен для контроля возможных искажений школ по строгости/мягкости проставляемых оценок.

Ожидается, что к сентябрю будет возобновлена возможность сдавать экзамен для студентов, недовольных полученными результатами. Предусматривается также возможность апелляций.

Оценка применимости стратегии альтернативного оценивания для Российской Федерации

Онлайнизация экзаменов и проведение их в дистанционном режиме

Эта стратегия активно обсуждается всеми участниками системы образования. Она признается наиболее соответствующей ситуации и задачам оценивания, но наименее реалистичной, поскольку требует обеспечить дорогостоящими услугами прокторинга (наблюдения за процессом тестирования) большое количество экзаменуемых. Ни одна из стран мира на данном этапе не выбрала стратегию перевода экзаменов в онлайн-форму, хотя этот вариант остается в центре всеобщих дискуссий.

Тем не менее в мире есть примеры экзаменов с высокими ставками, проводящихся в режиме онлайн. Например, в компании Educational Testing Service (ETS), одной из крупнейших компаний в области образовательного тестирования в мире, еще до пандемии имелись специальные версии популярных тестов «из дома» для людей, которые в силу объективных причин не могут приехать в тестовый центр. Эти at-home editions предложены теперь всем студентам, которые хотят сдавать популярные экзамены.

Например, экзамены TOEFL iBT® Special Home Edition и GRE General Test at Home с апреля 2020 г. стали доступны для всех желающих во многих странах, где были пункты сдачи этих экзаменов. Чтобы сдать тест, нужно иметь дома компьютер, соответствующий определенным требованиям, на который должны быть установлены браузер  ETS Test Browser  и программа прокторинга ProctorU® System Check. Таким же путем пошли и некоторые другие компании (например, Pearson VUE, Microsoft), которые в рабочем режиме разработали процедуры принятия сертификационных экзаменов с использованием домашнего стационарного компьютера и процедур прокторинга. Полное описание процедуры прокторинга представлено в Приложении 2.

Процедуры проведения онлайн-экзаменов в разных странах в целом схожи. Главное —обеспечить защиту тестовых материалов от копирования и контроль за сдачей экзамена. Например, в Singapore Management University (Сингапур) для экзаменов по некоторым курсам разработана процедура сдачи онлайн, которая предполагает использование Safe Exam Browser (SEB) — блокирующего браузера, который временно превращает ноутбуки учащихся в безопасные рабочие станции, ограничивая их доступ к веб-сайтам, приложениям или системным функциям. Например, технология предусматривает настройку устройств так, чтобы блокировать доступ ко всем сайтам кроме «белого списка» в LMS-системе университета.

Аналогичные технологические решения используются в Финляндии для выпускного школьного экзамена Finnish Matriculation Examination, который дает право выпусникам поступать в вузы. Начиная с 2016 года происходил постепенный перевод этого экзамена в компьютерную форму. Процедура сдачи экзамена предусматривает сдачу экзамена в школе, но при этом сдавать можно либо на собственном ноутбуке (bring-your-own-device, BYOD), либо на школьном компьютере. Перед началом экзамена все участники загружают на компьютеры операционную систему Linux с USB-накопителя. В результате участники имеют доступ только к тем приложениям и материалам, которые были предустановлены в операционной системе. Компьютеры участников связаны с сервером через локальную сеть, не имеющую выхода в Интернет. 

Оценка применимости стратегии онлайнизации экзаменов и проведения их в дистанционном режиме для Российской Федерации

Основные выводы

Исходные условия

Предлагаемый вариант ГИА в 2020 году

На основе анализа опыта адаптации экзаменационных решений в разных странах в условиях пандемии коронавируса в 2020 г. и принимая во внимание указанные выше особенности проведения ГИА, предлагается реализовать такой вариант ГИА в 2020 г., который позволит максимально сохранить главное достижение системы ЕГЭ — справедливость при поступлении выпускников 11 классов в высшие учебные заведения

Приложения

Приложение 1. Экзамены с высокими ставками 2020 в разных странах

Приложение 2. Описание процедуры онлайн-экзаменов и прокторинга в некоторых тестовых компаниях

Приложение 3. Основные трудности использования решения по экстренной онлайнизации экзаменов

Приложение 4. Меры по переводу ГИА в онлайн-формат в среднесрочной перспективе

  • Приложение 1.
  • Приложение 2.
  • Приложение 3.
  • Приложение 4.

Экзамены с высокими ставками 2020 в разных странах

Страна Тест для поступления в вуз Решения в связи с переводом обучения в онлайн-формат
США

Scholastic Aptitude Test(SAT) и  American College Testing (ACT): два альтернативных экзамена от разных провайдеров:

  • результат тестирования используется при поступлении в вуз;
  • имеют отличающуюся, но в целом схожую структуру.
    ACT – английский, чтение, математика и научное рассуждение, эссе (опционное); SAT – работа с текстом, математика и эссе (опционное).
  • В течение года реализуются несколько тестирований: SAT – 7 раз, ACT –  до 6 раз.
  • Текущие тестирования отменены.
  • Следующее тестирование предварительно запланировано на июнь, без изменения формата.
  • Будет возможность проведения тестирования в школах, а не только в специальных центрах.
  • Открыты ресурсы для подготовки к тестам.
Швеция
  • Национальное тестирование
  • SweSAT (Швецкая версия американского SAT)
  • Результаты тестирования используются при поступлении в вуз
  • Математика, родной язык, английский
Проводится дважды в год – в апреле и октябре.
Весеннее тестирование 2020 отменено, осеннее тестирование 2020 планируется как обычно.
Израиль
  • Стандартизированный тест, результат которого учитывается при поступлении в вуз
  • Включает в себя три предметные области: математику, вербальное мышление и английский язык
  • Тест можно сдать на иврите, арабском, русском, французском, испанском и иврите/английском
  • Тест проводится 5 раз в год на иврите, на других языках реже
Результаты тестирования действительны семь лет.
Все экзамены смещены на сроки после 22 июня. Количество обязательных экзаменов может быть сокращено.
Латвия
  • Централизованные экзамены в Латвии
  • Подтверждение освоения программы средней школы
  • Использутся для поступления в вуз 
  • Латышский язык, математика, иностранный язык
Проводится 1 раз в год.
Перенос экзаменов на более поздние даты, предположительно – май.
Китай
  • Экзамен National Higher Education Entrance Examination (gaokao)
  • Используется для поступления в вуз
  • Состоит из обязательной части – китайский язык, математика и иностранный язык, и предметов по выбору (в зависимости от выбора направления обучения)

Проводится 1 раз в год.

  • Перенос экзамена на один месяц, с июня на июль. Для провинции Хубэй и Пекина возможен дальнейший перенос срока сдачи экзамена.
  • Примерно 10 млн 710 тыс. человек зарегистрировались для сдачи экзамена  gaokao в этом году.
Южная Корея
  • College Scholastic Aptitude Test (CSAT) – национальный вступительный экзамен в колледж
  • Необходим для поступления в вуз (а это большинство студентов в Корее)
  • Тест длится 8 часов (с 08:00 до 17:00), проводится по всей стране в ноябре

Студенты проверяются на знание корейского, английского, математики, истории Кореи, второго иностранного языка или китайского и двух дополнительных предметов.

Между каждой частью теста есть перерывы и большой перерыв на ланч.

  • В 2020 г. CSAT планируют сдавать примерно 500 тыс. учащихся старших классов.
  • Экзамен перенесен с 19 ноября на 3 декабря из-за угрозы повторения эпидемии.
Германия
  • Тест Abitur – выпускной экзамен (с накопительной частью) в 12 классе
  • Для получения аттестата Abitur студенту необходимо набрать 300 баллов
  • Учитываются баллы по пяти выбранным предметам за последние два года учебы. Они считаются следующим образом:
    • каждый семестр студент может получить максимум 15 баллов за изучаемый предмет
    • за сдачу экзамена по основному предмету – 30 баллов (т. е. максимум 90)
  • за сдачу экзамена по выбору – 60 баллов (т. е. максимум 120)
Проводится в апреле.
  • Перенесен на май.
  • Будет проводиться очно: в аудитории не более 8 человек с дистанцией 1,5‒2,0 м друг от друга.
Франция
  • Baccalaureat – выпускной экзамен из школы, сдается в июне всеми выпускниками.
  • Concoursdesgrandesecoles – набор экзаменов, необходимых для поступления в высшие учебные заведения (Grandesecoles), сдается в период с марта по июль.
  • Отменен. В качестве альтернативы будут использоваться оценки за последний учебный год
  • Перенесен на более поздние сроки. Более того, начало учебного года тоже будет сдвинуто, для того чтобы успеть провести аттестацию
Нидерланды
  • Государственный экзамен на всех уровнях образования
  • Итоговые экзамены отменены (ранее это происходило только однажды во время Второй мировой войны).
  • Школы сами будут принимать решение, основываясь на текущих оценках. При этом уровень школы (сильная/слабая) никак не учитывается, что стало главным пунктом критики.
Великобритания
  • GCSE (General Certificate of Secondary Education) – экзамен на получение сертификата о среднем образовании в Великобритании.
  • A-level – это более углубленное изучение нескольких предметов GCSE. Обучение по A-level длится 2 года. Первый год называется AS (Advanced Subsidiary), второй – A2. Несмотря на то, что AS и A2 являются частями одной программы, их можно рассматривать как самостоятельные этапы обучения. Второй год не является неотъемлемой частью первого, он скорее дополняет его.
  • Студент вправе прервать обучение после сдачи экзаменов AS и начать трудовую деятельность
  • Выпускные экзамены отменены.
  • Оценки выставляются по накопленным результатам и рейтингам в соответствии со специально разработанной методологией.
  • Предусмотрена пересдача экзаменов осенью.
  • Предусмотрена возможность апелляции.
Финляндия
  • Нет стандартизированных вступительных экзаменов для приема в университеты
  • Каждый вуз проводит свои испытания и учитывает оценки студентов с предыдущей ступени образования (в частности, учитываются результаты Finnish Matriculation Examination)
С 2020 года планируется принимать во внимание оценки по специальным бесплатным онлайн-курсам.
  • Изменения в процедуре зачисления студентов будут объявлены к 15 апреля.
  • Экзамен Finnish Matriculation Examination компьютеризирован, но проводится в школах (offline).
  • Некоторые вузы объявили о проведении вступительных испытаний в 2020 г. в режиме онлайн.
Молдова
  • Стандартизированные оценочные процедуры существуют на школьном уровне.
  • Ученики проходят оценку при переходе со ступени гимназического образования (5‒9 классы) в лицейское (10‒12 классы), а также по завершении школы в июне – бакалаврские экзамены.
  • Зачисление в вузы происходит на основании дипломов об окончании лицея.
Вступительные экзамены есть на творческие специальности.
  • Министерство образования, культуры и исследований Республики Молдова заявило о том, что все решения относительно экзаменационных процедур находятся в разработке.
  • Рассматриваются варианты, в том числе связанные с отменой проведения экзаменов
Беларусь
  • Переходных экзаменов между классами нет.
  • Традиционные экзамены есть по окончании 9 и 11 классов.
Зачисление в вузы осуществляется по результатам Централизованного тестирования.
  • На данный момент принято решение о переносе репетиционного тестирования с начала на конец мая. Стараются перевести его в онлайн.
  • Одно из мнений – проведение экзаменов в онлайн-формате невозможно, и в  первую очередь из-за сложностей с обеспечением прокторинга во время процедуры.
  • Официального обсуждения темы с изменениями в экзаменационных процедурах, связанных с пандемией, пока нет.
Казахстан
  • Единое национальное тестирование (ЕНТ) администрирует Национальный центр тестирования. Результаты ЕНТ признаются колледжами, вузами – в качестве результатов приемных экзаменов
  • Тесты состоят из заданий с выбором ответа (одного или нескольких), облегчающим перевод в компьютерную форму
  • Проводится несколько раз в год для разных категорий абитуриентов
В 2019 г. объявлено о будущем переводе ЕНТ в компьютерную форму.
  • На недавнем заседании правительство объявило, что решения пока не приняты. Проведение ЕНТ планируется в прежнем формате (основной июньский), в прежние сроки. Мартовский ЕНТ перенесен на апрель, но решение не окончательное.
  • Для июньского ЕНТ рассматривается вариант проведения онлайн, но подходящего решения пока нет. Пробное тестирование проводится бесплатно в штатном режиме.
  • Итоговое тестирование для учащихся 9  и 11 классов отменено.
Узбекистан
  • По окончанию школы учащимся выдается аттестат и табель с оценками.
  • Вузы сами организуют вступительные экзамены.
  • Список экзаменов зависит от направления обучения.
Заявлен проект постановления президента Узбекистана «О дальнейшем упрощении вступительных экзаменов в высшие учебные учреждения». Документ предусматривает с 2021/2022 учебного года объединение итоговой государственной аттестации выпускников школ Узбекистана и вступительных экзаменов в высшие учебные заведения за счет проведения единого тестирования по (трем) обязательным предметам и двум предметам по выбранному выпускником направлению бакалавриата
Перенос выпускных экзаменов пока не объявлен. Экзамены проводятся в период с 25 мая по 15 июня.
Таджикистан
  • Централизованные выпускные экзамены (ЦВЭ) реализует Национальный центр тестирования при президенте Республики Таджикистан (с 2008 года).
  • Основная сессия ЦВЭ проводится в июле.
  • ЦВЭ состоит из 4 компонентов: компонент А – экзамен на базе общего образования;  компонент Б – экзамен на базе общего основного образования; компонент В – творческие экзамены и экзамены по специальным навыкам; компонент Г – дополнительные профильные экзамены.
Для поступления в образовательное учреждение абитуриент в обязательном порядке должен сдать либо компонент А–4 субтеста по соответствующим учебным дисциплинам согласно выбранному кластеру, либо компонент Б–3 субтеста по соответствующим учебным дисциплинам согласно выбранному кластеру.
Перенос выпускных экзаменов не объявлен. Проведение экзаменов осуществляется в стандартном режиме.
Азербайджан
  • Государственный экзаменационный центр Азербайджана отвечает за выпускное и вступительное тестирование.
  • Выпускной экзамен (на базе 11-летнего образования) длится 3 часа и включает язык преподавания (азербайджанский, русский), математику, иностранный.
Вступительные экзамены проходят по четырем группам специальностей. Для каждой группы свой набор субтестов.
  • Перенос экзаменов 5, 12 и 19 апреля 2020 года предусматривалось проведение выпускных экзаменов для учащихся 11-х классов средних общеобразовательных учреждений, а 16 марта ‒14 апреля – начало приема заявок в высшие учебные заведения и колледжи на базе полного (11-летнего) среднего образования.
  • Государственный экзаменационный центр, учитывая введенный в стране особый карантинный режим, принял решение о бесплатном проведении до июля 2020 года онлайн пробных выпускных (для учащихся 9 и 11 классов) и вступительных экзаменов.

 

Описание процедуры онлайн-экзаменов и прокторинга в некоторых тестовых компаниях

В прокторинге задействованы люди (живые прокторы) и технологии искусственного интеллекта. При этом для экзаменующихся предусмотрены жесткие ограничения по поведению и требованиям к техническим ресурсам.

При регистрации на сдачу студента просят указать настоящее имя, которое потом подтверждается демонстрацией документа с фотографией в веб-камеру. Указанное имя и имя в документе должно совпадать. Также от студентов требуется соглашение с политикой конфиденциальности, описывающей процедуру и данные, которые будут собраны о них. Дополнительно студентов обязывают подписать соглашение о неразглашении, запрещающее разглашать информацию о содержании экзамена и предусматривающее систему штрафов в случае нарушения этого соглашения.

Заранее перед началом экзамена студентов просят скачать приложение, которое проверяет, соответствует ли компьютер пользователя системным требованиям (включая разрешение экрана, звук, настройки ПО, обеспечивающего безопасность, скорость интернета и т. д.). Сам экзамен проводится в специальном безопасном браузере, предотвращающем любое копирование тестовых материалов. Домашний компьютер должен соответствовать некоторым требованиям. Например, для экзаменов ETS это должен быть именно десктоп или ноутбук, а не планшет и не телефон; система Windows® версий 10, 8 или 7, компьютер должен иметь внешние колонки, камеру на 360 градусов и находиться в тихой комнате.

В момент начала экзамена студента просят показать с помощью веб-камеры его окружение – это должна быть комната, в которой он находится один. Все плакаты и постеры изучаются, все личные вещи должны быть убраны, телефоны выключены, другие компьютеры выключены и отвернуты от респондента. Запрещены не только наушники, но и клипсы, серьги, скрывающие уши шапки и даже бумажные черновики (можно пользоваться пластиковой дощечкой и маркером, а потом при прокторе стереть заметки.

Связь с проктором осуществляется с помощью телефона (в экстренных случаях), чата и микрофона с колонками. Процедура подразумевает запрет на употребление пищи или питья, курение, также запрещено жевать жевательную резинку. В случае оказания помощи студенту, как и в случае его попытки списать, результаты экзамена аннулируются. Проктору запрещено отвечать на вопросы по содержанию экзамена. При этом, если содержание экзамена подразумевает рисование или записи, специальные функции позволяют делать это с помощью мыши или специального планшета. Между частями теста возможен 10 минутный перерыв, при превышении которого результаты отменяются.

Провайдеры экзаменов открывают большое количество пояснительной информации по процедурам и содержанию онлайн-экзаменов для пользователей

В настоящее время для проведения онлайн-тестирования в России разработаны и локализованы несколько систем прокторинга. Рассмотрим две системы, уже нашедшие свое применения в системе образования:

  • ProctorEdu Данная система прокторинга легко интегрируется с многими существующими системами тестирования. Интеграция уже есть с платформами StartExam, Stepik и Moodle. Система прокторинга может работать в облаке с доступом через Интернет. Обновление, обслуживание и вся техническая сложность скрыта, а заказчик и респондент получают требуемый сервис. Но у этой системы есть вариант «коробочной» поставки, когда система прокторинга разворачивается на сервере РЦКО или школы и обеспечивает полный контроль над данными.
  • Экзамус Компания «Экзамус» разработала технологию, которая анализирует поведение пользователей любых онлайн-сервисов с помощью распознавания лиц и обнаружения эмоций. Для работы их продуктов достаточно наличия у пользователя мобильного устройства или компьютера с веб-камерой. Используя API, любая платформа тестирования или LMS могут прозрачно предоставлять своим клиентам все виды услуг мониторинга тестов и экзаменов. Стоимость услуг Экзамуса: для проведения олимпиад — 100 р./ч на респондента, базовый тариф – 200 р./ч, а улучшенный, когда прокторами являются сотрудники компании, – 300 р./ч.

Основные трудности использования решения по экстренной онлайнизации экзаменов

Внедрение нового формата экзамена встретится с упомянутыми выше барьерами, а именно: технологическая неготовность российских школ, а также учителей и семей к проведению онлайн-экзаменов; недостаточный уровень цифровой грамотности учащихся и сотрудников школ. 

Кроме того, необходимо выделить следующие дополнительные проблемы и риски, которые неизбежно возникнут в случае экстренного перевода экзаменов ГИА в онлайн-формат:

Проблема сопоставимости результатов компьютерной и бланковой форм экзаменов. Задания могут по-разному функционировать, даже если выглядят одинаково; учащиеся используют разные стратегии поведения при тестировании на бумаге и на компьютере; «компьютерное» беспокойство как дополнительный фактор; низкая цифровая грамотность учащихся и т. д. — множество факторов, которые могут сделать результаты экзаменов в бланковой и компьютерной формах несопоставимыми. В мире есть примеры экзаменов,  когда была доказана сопоставимость, и когда она доказана не была. Так, международно признанный «Тест на знание английского языка как иностранного» (Test of English as a Foreign Language, TOEFL) долгое время имел три версии: онлайн, компьютерную и бумажную — без возможности установления однозначного сопоставления тестовых баллов, с сопоставимостью только интерпретации качественных уровней результатов. В любом случае, необходимы специальные психометрические исследования сопоставимости. Но можно прогнозировать, что результаты по экзаменам ГИА вряд ли будут сопоставимы с предыдущими годами.

Обеспечение равных возможностей для лиц с ОВЗ. Потребуется проведение серии особых испытаний для обеспечения равных возможностей в сдаче экзаменов онлайн для лиц с нарушениями или ограничениями здоровья. Пока сложно говорить о том, насколько изменение формата ГИА будет упрощать или затруднять сдачу экзамена для этих групп учащихся. В случае использования аккомодаций (специальных изменений тестовых материалов, которые не сказываются на характеристиках КИМов), требуется исследование их ограничений.

Перенос заданий из бланковой формы в компьютерную. Далеко не все задания допускают простой перенос. Как правило, задания приходится менять, что может повлиять на их трудность. Нужны рекомендации по преобразованию заданий в компьютерную форму (с учетом особенностей еще и платформы тестирования). От некоторых типов заданий (например, требующих написания математических или химических формул), возможно, придется отказаться. Само по себе компьютерное тестирование обладает многими преимуществами по сравнению с бумажным тестированием, но в ситуации экстренного переноса экзаменов с высокими ставками в онлайн будут переноситься уже готовые КИМы, что может оказаться невыполнимой задачей. Разработка новых КИМов (в том числе с возможностью замены «некомпьютеризируемых» форматов заданий на более традиционные или, наоборот, использующие все возможности компьютерного тестирования — например, симуляции) в срочном порядке невозможна.

Необходимость платформы тестирования, позволяющей проводить экзамены с высокими ставками онлайн. Большинство существующих платформ для онлайн-обучения являются коммерческими продуктами, то есть они направлены на удержание пользователей в своей экосистеме, что приводит к разнице в интерфейсах и способах работы с платформами. Как результат, дополнительные усилия потребуются для переобучения тех акторов, которые уже пользуются какой-то онлайн-платформой, отличной от «рекомендованной». Кроме того, требуется тщательная оценка возможностей существующих платформ для использования их как «рекомендованных». В настоящий момент сложно говорить о том, что какая-либо из существующих платформ пригодна для проведения ГИА в онлайн-формате, а разработка новой платформы в такие сжатые сроки невозможна в силу итеративности процесса создания любого программного обеспечения. В случае спешки возможны все виды ошибок на свежей платформе — от «подтормаживаний» до фатальных ошибок, что угрожает справедливости результатов оценивания.

Отдельным вопросом является информационная безопасность тестовых материалов при онлайн-тестировании. За последние годы достигнут большой прогресс в области предотвращения утечки тестовых материалов. Однако меры, предпринимаемые для этого, невозможно перенести в онлайн. В частности, большинство технологий защиты от копирования тестовых материалов требуют предварительной технической работы с компьютерами на базе Windows. Возможным частичным решением проблемы может выступать система прокторинга. Однако разработка юридически и технически целостной и безопасной системы прокторинга в сжатые сроки невозможна. Более того, в случае применения этой системы повышаются как технические требования к процедуре проведения (например, требуется веб-камера и повышается важность наличия широкополосного Интернет-соединения), так и требования к количеству администраторов тестирования, прошедших необходимую (в том числе юридическую, техническую и медицинскую) подготовку.

Задания типа С, которые проверяются экспертами. В ситуации экстренного перевода экзаменов ГИА в онлайн чрезвычайно трудно организовать работу экспертов на дому. Особую актуальность будет иметь исследование деятельности экспертов, особенностей их поведения, индивидуальных, обусловленных их деятельностью искажений в измерениях. Есть исследования, которые показывают влияние ситуации проверки и окружения на результаты деятельности экспертов. Эти факторы приводят к тому, что баллы респондентов начинают зависеть от того, в какой обстановке и к какому эксперту попала работа студента, что подразумевает несправедливость в оценивании.

Меры по переводу ГИА в онлайн-формат в среднесрочной перспективе

  1. «Выравнивание» населения по доступу к техническим средствам и компьютерной грамотности. Сегодня некоторые отдаленные районы страны не обладают доступом к широкополосному Интернету, многие семьи не обладают компьютерами или планшетами, на которых можно проводить экзамены с высокими ставками онлайн. Решением этой проблемы может являться организация бесплатной аренды у государства технических средств, необходимых для проведения тестирования (в том числе средств аудио- и видеосвязи).
  2. Повышение компьютерной грамотности населения. Для повышения валидности результатов необходимо, чтобы все участники (учащиеся и учителя) обладали как минимум базовым уровнем компьютерной грамотности. Нужны как специальные меры по повышению общей компьютерной грамотности участников, так и специальные тренинги для обучения их работе с онлайн-платформой, на которой будет проводиться ГИА.
  3. Разработка новой процедуры онлайн тестирования. Многолетнее пилотирование и опыт проведения ГИА офлайн позволили выработать процедуру, которая обеспечивает и объективность результатов тестирования, и безопасность тестовых материалов. Для достижения того же результата в онлайн-среде необходимо проведение таких же испытаний с тщательным анализом результатов и различных условий, в которых они были достигнуты.
  4. Разработка новой всероссийской онлайн-платформы для тестирования с высокими ставками. На данный момент сложно говорить о том, что какая-либо из существующих платформ пригодна для проведения ГИА онлайн, то есть требуется запуск полного цикла разработки новой платформы. Она должна предусматривать: (1) систему защиты тестовых материалов от копирования и академического мошенничества, (2) протоколы защиты и хранения персональной информации, (3) систему прокторинга, а также (4) она должна быть оптимизирована под все технические средства, на которых может допускаться прохождение ГИА.

Достоинствами такой платформы могут выступать:

  • автоматическая проверка заданий закрытого типа и заданий с коротким конструируемым ответом
  • оптимизация (в перспективе автоматизация) экспертной проверки заданий с развернутым открытым ответом — от увеличения количества экспертов на одну работу до автоматического анализа и исправления индивидуальных искажений, которые эксперты вносят в выставляемые оценки;
  • возможность привлечения к прокторингу наблюдателей из других регионов;
  • использование заданий инновационных форматов (например, симуляции);
  • возможность использования дополнительной информации (например, времени ответа) для увеличения точности измерений.

В конечном счете использование такой всероссийской платформы может сократить время выдачи результатов тестирования с двух недель до нескольких минут, однако для ее разработки потребуется время. Стоит отметить, что у Российской Федерации уже имеется опыт создания подобных по масштабу и важности платформ (Госуслуги).

5. Разработка правовой базы для применения онлайн платформы. На сегодня юридическое регулирование использования данных прокторинга в нашей законодательной системе разработано относительно слабо. Неясны протоколы действий администраторов тестирования в случае возникновения технических сбоев (например, по причине неустойчивости интернет-соединения). Требуется описание юридической системы наказаний за распространение материалов тестирования студентом после (или во время) прохождения теста. Неясен правовой статус результатов тестирования при различных нарушениях процедуры тестирования (сейчас этот статус полностью определяется провайдером тестовых материалов). Сложно говорить о правовом статусе персональной информации несовершеннолетних школьников, сдающих ГИА. Все эти и многие другие вопросы потребуют выработки правовой позиции органов управления.

6. Подготовка персонала. На данный момент администраторами тестирования офлайн являются работники школы и волонтеры, прошедшие соответствующую подготовку. Действия в случае офлайн-тестирования интуитивно понятны персоналу, и в случае возникновения событий, не урегулированных тренингами и протоколами, можно ожидать, что их последствия будут преодолены корректно. Однако в случае дистанционного наблюдения за процессом тестирования все прокторы должны понимать, как реагировать даже в самых неожиданных ситуациях, включая медицинские, технические и социальные.

7. Установление сопоставимости результатов онлайн- и офлайн-версий ГИА. Абсолютно точно перевод ГИА в онлайн потребует новых подходов к разработке КИМов, включая  разработку новых форматов заданий, учитывающих преимущества компьютерного тестирования (но не ограничиваясь ею), и отказ от некоторых «некомпьютеризируемых». Сегодня можно прогнозировать проблемы в сопоставимости тестовых материалов между офлайн- и онлайн-версией, однако без сравнительного анализа данных тестирования в обоих форматах невозможно говорить об этом точно. В случае осуществления нового эксперимента по проведению ГИА онлайн потребуются интенсивные исследования по анализу и способам установления сопоставимости между разными форматами. По самым оптимистичным прогнозам, возникнут проблемы по установлению сопоставимости тех заданий, которые используют математические выкладки и химические формулы. Часть возникших проблем будет объясняться сменой модальности ввода текста — рукописный ввод и печать на клавиатуре требуют разных когнитивных процессов и протекают с разной скоростью

8. Обеспечение равных возможностей для лиц с ОВЗ. Большим плюсом компьютерного тестирования является возможность относительно дешевого внедрения техник универсального дизайна (UniversalDesign) тестовых материалов. Эти техники направлены на уменьшение дискриминации лиц с ОВЗ при сохранении сопоставимости психометрических характеристик тестовых материалов с материалами для популяции без ОВЗ. Технологии компьютерного тестирования предоставляют беспрецедентные возможности для внедрения этих техник в способы разработки, аккомодации и доставки тестовых материалов до студентов

9. Введение электронного документооборота при проведении приемных компаний в вузы на те специальности, которые не требуют дополнительных испытаний.


 

Нашли опечатку?
Выделите её, нажмите Ctrl+Enter и отправьте нам уведомление. Спасибо за участие!
Сервис предназначен только для отправки сообщений об орфографических и пунктуационных ошибках.