Опыт онлайнизации экзаменов в зарубежных образовательных организациях и системах

Часть 1. Обзор факторов, связанных с онлайнизацией экзаменов

1.1. Поэтапность введения онлайнизации экзаменов: две модели

Во всех кейсах успешной реализации дистанционного оценивания новые форматы вводились постепенно, через серию апробаций и исследований, позволяющих учесть возникающие трудности. Мы выделили две взаимодополняемые модели онлайнизации оценивания.

1.2. Онлайнизация экзаменов: специфика и уникальные преимущества

Компьютеризированное, особенно онлайнизированное, тестирование обеспечивает ряд преимуществ по сравнению с традиционными бланковыми тестами.

1.3.Онлайн или офлайн: риски академического обмана

Несмотря на свидетельства повышения эффективности образовательных систем вследствие компьютеризации и онлайнизации оценивания, существуют трудности, замедляющие распространение этих современных форматов. В первую очередь к таким проблемам относятся угрозы академических нарушений.

Угрозы, которые рассматривают в отношении онлайн-экзаменов, касаются двух типов академических нарушений:

1) нарушение информационной защиты тестов и разглашение (утечка) тестовых материалов;

2) риски академического мошенничества (подсказки, списывание) во время процедуры оценивания.

Исследователи академической нечестности пользуются двумя теоретическими рамками для объяснения нечестного поведения:

1) общая теория преступности указывает на недостаток контроля импульсов и стремление немедленно реализовывать желания [Gottfredson, Hirschi, 1990];

2) теория когнитивной разгрузки говорит об общепризнанных ограничениях человеческого разума [Simon, 1982] и о тенденции делегировать когнитивные задачи технологическим или другим средствам (телефонам — для запоминания номеров, калькуляторам — для арифметических вычислений). Это называется когнитивной разгрузкой [Risko, Gilbert, 2016]. Таким образом, когда перед экзаменуемым ставится задача выполнить сложные когнитивные операции, он склонен предпринимать какие-либо действия, снижающие когнитивный стресс [Risko, Gilbert, 2016].

Обе рамки предъявляют особые требования к дизайну среды оценивания.

1. Для защиты информации в системе онлайн-тестирования (и любого тестирования) должны быть предусмотрены все необходимые средства защиты информации, система должна постоянно тестироваться на предмет возможных угроз.

Одним из популярных способов защиты тестовых материалов от копирования является технология безопасных браузеров — специальных приложений, из которых невозможно ни скопировать текст задания, ни сделать снимок экрана (например, в случае снимка экрана окно приложения закрашивается черным цветом). Кроме того, сами приложения безопасных браузеров предотвращают доступ к любым веб-сайтам, кроме экзаменационных, и собирают информацию обо всех действиях респондента на онлайн-платформе в целях анализа как процесса ответов, так и попыток выявления академического мошенничества с помощью косвенных признаков[1]. Приложения могут блокировать весь экран, не давая свернуть себя, закрыть, открыть другое приложение или даже перезагрузить компьютер (используя программные команды) во время процедуры экзамена.

Важно, однако, отметить, что разработка защищенной среды — итеративный процесс, как и разработка эффективного инструмента оценивания, а значит, он может быть эффективно реализован только при наличии достаточного запаса времени и толерантности к возможным в начале процесса зазорам безопасности.

2. В соответствии с теорией когнитивной разгрузки разработчики должны обеспечить «дружелюбность» интерфейсов и процессов оценивания, чтобы они не мотивировали неправильное поведение [Baird et al., 2017], потому что самооценка плохо ориентирующихся в интерфейсе учащихся падает, у них появляется чувство безнадежности, которое ослабляет мотивацию. Недостаточность выделенного на решение заданий времени также может приводить к нечестному поведению [Murdock,  Anderman, 2006]. В настоящее время разработаны и апробированы принципы оценивания в мультимедийной среде (например, [Kirschner et al., 2017]), позволяющие снизить когнитивную нагрузку на участников компьютеризированного тестирования.

3. Для борьбы с подсказками и списыванием используют приемы администрирования теста, такие как рандомизация вопросов [Fluck et al., 2009; Arnold, 2016] и синхронность сдачи онлайн-теста [Chao et al., 2012]. Адаптивные алгоритмы и применение моделей современной теории тестирования позволяют создавать множественные равноценные по трудности (а значит, и по справедливости) варианты экзаменов. Например, при наличии большой базы вопросов с известными психометрическими характеристиками возможно создание уникальных тестов для каждого студента [Rovai, 2000]. Синхронизация проведения оценивания решает проблему разглашения содержания экзаменов по остаточным воспоминаниям и подходит как средство борьбы с академической нечестностью в рамках, например, одного университета [Chao et al., 2012]. При объединении этих двух стратегий, когда для предъявления онлайн-тестов синхронно используется случайная выборка вопросов, еще больше повышаются защищенность экзамена и уверенность в честности реализации процедур [Marks, Cronje, 2008; Fluck et al., 2009].

4. На сегодняшний день наиболее полную защиту от академической нечестности со стороны студентов обеспечивает процедура прокторинга, в ходе которой специальными мерами обеспечивается наблюдение за сдающим экзамен человеком. В данный момент все известные экзамены с высокими ставками используют прокторинг. Это связано с тем, что ни один другой способ защиты от академического мошенничества не является таким же надежным и гибким. Современный прокторинг задействует комбинации из машинных алгоритмов (искусственный интеллект) и работы наблюдателей-прокторов (синхронно или асинхронно). Прокторинг требует определенных временных и финансовых ограничений, иногда весьма значительных [Trenholm, 2007].

В Приложении 1 приведено полное описание процедуры прокторинга на примере американского сертификационного экзамена по праву MPRE [Multistate Professional Responsibility Exam). Описанные инструкции дают представление о ресурсоемкости прокторинга и связанных с ним вопросах защиты личной информации. При проведении экзаменов онлайн на респондентов накладываются жесткие ограничения, схожие с теми, которые накладываются на респондентов в ситуации реального тестирования. Респондентам запрещается пользоваться вспомогательными средствами, а также пить и есть, жевать жевательную резинку или курить. Обычно в случае возникновения технических проблем результаты тестирования аннулируются. Дополнительно экзаменуемые могут испытывать дискомфорт из-за необходимости разрешить видеосъемку у себя дома, а провайдерам приходится решать этические и правовые вопросы, связанные с хранением личной информации.

1.4. Исследования сопоставимости результатов экзаменов

Для эффективной онлайнизации экзаменов необходимо проведение ряда специальных исследований, некоторые из них упоминались выше (изучение сравнительной эффективности новых форматов заданий, исследования академической нечестности, поиск технологических решений, исследования восприятия в обществе различных типов экзаменов и пр.). Однако главным по актуальности является исследование сопоставимости результатов различных форм экзаменов, поскольку только такое исследование позволяет сделать вывод о качестве цифровых «преемников» бланковых форм.

Существуют свидетельства того, что компьютеризированные экзамены могут отличаться по трудности от бланковых аналогов. Например, в американском штате Массачусетс в течение двух лет изучалось развертывание компьютерного тестирования. Тесты PARCC[1], которые апробировали онлайн в ходе исследования, имели высокие ставки, но не для самих учеников, а для школ, поскольку их результаты использовались в системах подотчетности школ. Экзамен PARCC проводился в 3–8-х классах в онлайновых и бланковых форматах каждый год в течение переходного периода. Используя данные первых двух лет перехода к онлайновому PARCC в Массачусетсе, исследователи обнаружили убедительные доказательства того, что онлайновые тесты оказались существенно проще бланковых [Backes, Cowan, 2019].

При этом в литературе есть примеры, когда показатели успеваемости учащихся не изменились в зависимости от формата экзамена (бланковая форма или онлайн) [Ardid et al., 2015; Boevé et al., 2015; Karay et al., 2015; Kemp, Grieve, 2014; Werhner, 2010]. Отсутствие или наличие различий объясняется форматами, тематикой экзаменов, уровнем образования, мотивированностью учащихся, их уровнем компьютерной подготовки, а также последствиями для учащихся. Но в любом случае сопоставимость или несопоставимость результатов экзамена в разных форматах должна быть доказана в ходе специальных исследований.

Часть 2. Реализация перевода экзаменов в онлайн-форму

В первой части данного отчета были систематизированы вопросы, возникающие при реализации перевода экзаменов в онлайн-формат. Ниже будут представлены кейсы отдельных систем, в которых прослеживаются описанные выше решения.

Трудности, выявленные в ходе онлайнизации оценивания в Австралии

Основные риски оказались связаны с технической стороной проведения экзаменов (пропускная способность системы, скорость и стабильность интернет-соединения). В 2019 г. 40 тыс. школьников в Западной Австралии не смогли пройти NAPLAN в связи с техническими сбоями.

Сам по себе как инструмент NAPLAN критикуется обществом в основном в связи с его значимостью для финансирования школ и для самих учащихся. Переход в онлайн-формат также вызвал много споров. Например, критиковалась непрозрачность исследований о сравнении онлайн- и бланковой форм. В частности, в 2018 г. в СМИ появились публикации о несопоставимости результатов и преимуществе для учеников, которые заполняли бланковую форму по чтению и правописанию или выполняли компьютерную форму по математике и грамматике.

В целом опыт Австралии — это пример энергичной, но постепенной онлайнизации значимых экзаменов с сильным акцентом на продвинутую методологию оценивания. Провайдер тестов ACER использует задания разного типа, проводит оценку в основном онлайн, применяет модели, позволяющие оценивать прогресс и автоматический скоринг, а также сразу сгенерировать отчеты. Отчеты составляются для разных групп (для учеников, родителей, учителей, администрации школы).

Заключение

В данном обзоре авторы постарались систематизировать опыт онлайнизации экзаменов с высокими ставками в разных системах образования. В каждом из описанных кейсов переход к онлайнизации экзаменов осуществлялся поэтапно, с проведением на каждом этапе исследований по сопоставимости разных форм заданий и по эффективности используемых моделей и алгоритмов. В мировой практике апробированы решения по обеспечению безопасности и защищенности материалов во время компьютеризированной/онлайнизированной процедуры оценивания, в первую очередь это различные процедуры прокторинга с задействованием людей и алгоритмов машинного обучения. Высокая цена прокторинга (на данном этапе реализации процедур) компенсируется для соискателей экономией на транспортных расходах до места оценивания, а для принимающих экзамены сторон — экономией на найме администраторов тестирования.

Как показала мировая практика, кандидатам, приемным комиссиям и обществу в целом может потребоваться некоторое время, чтобы научиться доверять новым способам тестирования.

Литература

Ardid M., Gómez-Tejedor J.A., Meseguer-Dueñas J.M., Riera J., Vidaurre A. (2015). Online exams for blended assessment. Study of different application methodologies // Computers & Education. Vol. 81. P. 296–303.

Arnold I.J. (2016). Cheating at online formative tests: Does it pay off? // The Internet and Higher Education. Vol. 29. P. 98–106.

Backes B., Cowan J. (2019). Is the pen mightier than the keyboard? The effect of online testing on measured student achievement // Economics of Education Review. Vol. 68. P. 89–103.

Baird J.-A., Andrich D., Hopfenbeck T.N.,  Stobart G. (2017). Assessment and learning: Fields apart? // Assessment in Education: Principles, Policy & Practice. Vol. 24. No. 3. P. 317– 350.

Boevé A.J., Meijer R.R., Albers C.J., Beetsma Y., Bosker R.J. (2015). Introducing computer-based testing in high-stakes exams in higher education: results of a field experiment // PloSone. No. 10(12).

Brown G.T. (2019). Technologies and infrastructure: costs and obstacles in developing large-scale computer–based testing // Education Inquiry. No. 10(1). P. 4–20.

Chao K.J., Hung I.C., Chen N.S. (2012). On the design of online synchronous assessments in a synchronous cyber classroom // Journal of Computer Assisted Learning. Vol. 28. No. 4. P. 379–395.

Cizek G.J., Wollack J.A. (2016). Handbook of quantitative methods for detecting cheating on tests. L.: Routledge.

Fluck A., Pullen D.,  Harper C. (2009). Case study of a computer based examination system // Australasian Journal of Educational Technology. No. 25(4).

Gottfredson M.R., Travis H. (1990). A General Theory of Crime. Stanford, CA: Stanford University Press.

Guerrero-Roldán A.E., Noguera I. (2018). A model for aligning assessment with competences and learning activities in online courses // The Internet and Higher Education. No. 38. P. 36–46.

Holmes N. (2015). Student perceptions of their learning and engagement in response to the use of a continuous e-assessment in an undergraduate module // Assessment & Evaluation in Higher Education. Vol. 40. No. 1. P. 1–14.

Karay Y., Schauber S.K., Stosch C., Schüttpelz-Brauns K. (2015). Computer versus paper — Does it make any difference in test performance? // Teaching and Learning in Medicine. No. 27(1). P. 57–62.

Kemp N., Grieve R. (2014). Face-to-face or face-to-screen? Undergraduates' opinions and test performance in classroom vs. online learning // Frontiers in Psychology. No. 5. P. 12–78.

Kingston N., Clark A. (eds.) (2014). Test fraud: Statistical detection and methodology. L.: Routledge.

Kirschner P.A., Park B., Malone S., Jarodzka H. (2017). Toward a cognitive theory of multimedia assessment (CTMMA) // Learning, design, and technology: an international compendium of theory, research, practice, and policy. Springer, Cham. P. 1–23.

Korpi S. (2019). Portfolio Project as Summative Language Assessment: Engaging learners Online // International Journal of E-Learning & Distance Education. Revue internationale du e-learning et la formation à distance. No. 34(2).

Marks A.M., Cronje J.C. (2008). Randomised items in computer-based tests: Russian roulette in assessment? // Journal of Educational Technology and Society. No. 11(4). P. 41–50.

Munoz A., Mackay J. (2019). An Online Testing Design Choice Typology towards Cheating Threat Minimisation // Journal of University Teaching and Learning Practice. No. 16(3). P. 5.

Murdock T.B., Anderman E.M. (2006). Motivational perspectives on student cheating: Toward an integrated model of academic dishonesty // Educational Psychologist. No. 41(3). P. 129–145.

Noguera I., Guerrero-Roldán A., Peytcheva-Forsyth R., Yovkova B. (2018). Perceptions of students with special educational needs and disabilities towards the use of e-assessment in online and blended education: barrier or aid. In: Proceeding from 12th international technology, education and development conference. Valencia, Spain. March. P. 5–7.

Risko E.F., Gilbert S.J. (2016). Cognitive offloading // Trends in cognitive sciences. No. 20(9). P. 676–688.

Rovai A.P. (2000). Online and traditional assessments: what is the difference? // The Internet and Higher Education. No. 3(3). P. 141–151.

Simon H.A. (1982). Models of bounded rationality: Empirically grounded economic reason. MIT press. Сambridge, MA.

Trenholm S. (2007). A review of cheating in fully asynchronous online courses: A math or fact-based course perspective // Journal of Educational Technology Systems. No. 35(3). P. 281–300.

Usher M., Barak M. (2018). Peer assessment in a project-based engineering course: comparing between on-campus and online learning environments // Assessment & Evaluation in Higher Education. No. 43(5). P. 745–759.

Werhner M.J. (2010). A comparison of the performance of online versus traditional on-campus earth science students on identical exams // Journal of Geoscience Education. No. 58(5). P. 310–312.