Мнения коллег · HR-club

Сам Абрам дался в обман, или фальсификация результатов тестирования и как с ней бороться

Алёна МезенцеваАлёна Мезенцева, заместитель руководителя отдела исследований и разработок Лаборатории «Гуманитарные Технологии» считает, что оценочные процедуры воспринимаются не как инструмент, помогающий сотруднику и работодателю найти друг друга – создать прочный трудовой союз, основанный на общности ценностей, ожиданий и взаимной симпатии, избежав при этом упрёков, недовольств, разочарований и тягот расторжения трудовых отношений, но как пустая формальность.

На вид простак, а в душе хитряк

Проблема фальсификации результатов тестирования и других оценочных процедур стара как мир. Начинается всё со школьной скамьи (а может даже раньше): с первых робких попыток списывания и краснеющих лиц. С возрастом ставки растут, оценочные процедуры становятся всё более серьёзными и влияют не только на итоговую оценку в семестре, но и на то, получим ли мы работу мечты или инвестиции для воплощения в жизнь нового гениального проекта. По мере накопления жизненного опыта, с каждой очередной набитой шишкой приходит осознание:  те, кто берут хитростью, порой несправедливо обходят на финише тех, кто опирается лишь на собственные сильные стороны, знания и способности.

Оценочные процедуры воспринимаются не как инструмент, помогающий сотруднику и работодателю найти друг друга – создать прочный трудовой союз, основанный на общности ценностей, ожиданий и взаимной симпатии, избежав при этом упрёков, недовольств, разочарований и тягот расторжения трудовых отношений, но как пустая формальность.

Фальсификация – серьёзная проблема, которая приводит к тому, что люди оказываются не на своих местах и получают НЕзаслуженные или НЕ получают заслуженные привилегии. Так существует ли средство против хитрости?

иллюстрация фальсификацияЛучшее средство – профилактика

Как по мне, то не придумали ещё более эффективного лекарства от всех болезней, чем профилактика. С проблемой фальсификации результатов тестирования лучше бороться ещё до начала этого самого тестирования. Развернутый ответ  на вопрос «как?» содержится в Российском стандарте тестирования персонала [1].

Первым делом доверие. Как бы банально это не звучало, но выбранный инструмент должен соответствовать целям тестирования: цель должна определять средства, а не наоборот. Если слесаря по ремонту сантехнического оборудования при приёме на работу просят пройти комплексный тест на эрудицию, то никакого доверия к процедуре тестирования это не вызывает. Напротив,  заставляет сомневаться в компетентности лиц, это тестирование проводящих, и мотивирует заполнять тест абы как,  с привлечением близких родственников и любых доступных информационных и материальных ресурсов.

Доверие подкрепляют понятность и прозрачность. Важно, чтобы респондент был проинформирован о целях и задачах тестирования, о том, кто будет иметь доступ к его результатам и к каким последствиям эти результаты могут привести. Этика сотрудничества и откровенности имеет свои ограничения: однако не стоит ждать честности от респондента в ответ на дезинформацию или скрытность.

Фальсификация – это не только списывание и использование подсказок – это любые действия перед, во время или после прохождения тестирования, целью которых является получение несправедливых преимуществ или недостоверных результатов. Следовательно, фальсификация возможна не только со стороны тестируЕМЫХ, но и со стороны тестируЮЩИХ. Если у лиц, проводящих тестирование, нет уверенности в качестве теста и надежности его результатов, то у них нет причин подходить к организации процедуры оценки серьёзно, и есть куча рациональных оправданий подсказкам и нарушениям регламента.

Кроме того, что нужно использовать качественные тесты, важно привлекать к администрированию тестирования ответственных и подготовленных исполнителей незаинтересованных в результатах оценки.

Что плохо лежит, сорока тут как тут

Чтобы не возникало желания фальсифицировать результаты тестирования, не нужно предоставлять такой возможности.

Нет смысла говорить о важности организации процедуры тестирования. Очное тестирование в компьютерном формате, в звукоизолированном помещении с видеонаблюдением, за отдельными партами со зрительными перегородками, с изъятыми телефонами, отсутствием подключения к интернету, автоматическим контролем времени прохождения тестирования, уникальными вариантами тестовых заданий для каждого респондента и т.д. – конечно, это утопия. Хотя в случае  high-stake оценки об этом стоит подумать.

В действительности же (особенно при массовом тестировании людей, находящихся в разных городах и даже странах) проведение очного тестирования часто затруднительно и невозможно. Как в таком случае можно обеспечить достоверность результатов?

Существуют два взаимодополняющих пути.

  1. Хитрый Митрий, да и Ванька не дурак: защита на уровне структуры теста

В первую очередь – это встраивание защиты от фальсификации в структуру и содержание самих тестовых методик. В случае личностных методик речь идет об

  • ипсативной технология построения опросников,
  • автоматическом ограничении количества нейтральных ответов,
  • разработке дополнительных шкал лжи и согласованности ответов, которые хоть и не мешают фальсификации, но помогают её выявить.

Последнее решение, на мой взгляд, является весьма дискуссионным. Ну, получил наш респондент высокий балл по шкале Социальная желательность, и что теперь делать? Обвинить во лжи мы его на этом основании не можем: высокий балл по данной шкале, напротив, порой набирают кристально честные люди. Выход – ипсативная технология, которая работает на уровне причины проблемы – желания представить себя в лучше свете. Одновременно умным и красивым, увы, быть не получиться – придётся выбирать.

В случае интеллектуальных методик и тестов знаний важны:

  • введение ограничений по времени на решение задания и теста в целом,
  • наличие расширенного банка тестовых заданий,
  • рандомизация,
  • возможность прохождения верификационного тестирования,
  • наличие механизма отслеживания количества отвлечений пользователя от вкладки прохождения тестирования (например, переход на другие вкладки) и т.д.

Чем больше механизмов защиты включено в структуру теста, тем лучше. Однако не стоит бросаться в крайности и разрабатывать 20кратный банк заданий: выбор случайным образом 15 заданий из 4ехкратного банка уже даёт нам более миллиарда уникальных комбинаций. Это тот случай, когда в погоне за количеством не стоит забывать о качестве. Гораздо важнее регулярно проверять психометрические параметры заданий, удалять и заменять устаревшие, чем добавлять всё новые и новые без должной проверки.

  1. Доверяй, но проверяй: защита на уровне администрирования

Всё это, конечно, хорошо, но как проверить, что тестирование проходил именного тот самый респондент, один, не обложившись томами Советской энциклопедии?

Для этого существуют системы онлайн прокторинга. Прокторинг – это технология контроля за прохождением тестирования, реализуемая полностью автоматически или с участием специально обученных лиц (прокторов), зачастую не имеющих отношения ни к работодателю (или другому лицу, проводящему тестирование), ни к кандидату. Эта технология позволяет осуществлять идентификацию и отслеживание прохождения тестирования респондентом по данным с веб-камеры и звукозаписи, полученной через микрофон. Система настроена на распознавание лиц и обнаружение угроз достоверности данных, например,

  • отсутствие тестируемого в кадре,
  • появление в объективе камеры другого человека,
  • посторонние звуки,
  • долгое отвлечение взгляда тестируемого от экрана монитора и т.д.

Такой автоматический контроль за прохождением тестирования позволяется предотвратить 95% угроз фальсификации со стороны респондента и получить действительно точную и объективную оценку знаний, способностей, личностных особенностей. Использование современных технологий позволяет совместить удобство удалённого онлайн тестирования с контролируемостью и достоверностью очной процедуры прохождения оценки.

Оба описанных пути обеспечения достоверности результатов тестирования являются воплощением ценности технологичности: позволяют решать задачи оценки просто, удобно, максимально автоматизировано.

Как ни хитри, а все наружу выйдет

Однако порой бывает слишком поздно… Тестирование проведено, требования к его проведению нарушены, и есть подозрение, что «читерство» имело место быть. Как проверить, можно ли доверять полученным результатам?

Здесь на помощь приходит статистика и аналитика. На сегодняшний день разработано и апробировано большое количество процедур, позволяющих выявлять списывание, использование вспомогательных средств во время тестирования, утечку заданий, помощь и подсказки со стороны администраторов тестирования и др. Зачастую для этого используются IRT алгоритмы обработки результатов, но существуют и иные методы. Иногда, чтобы обнаружить нарушение достаточно просто проанализировать время ответов на вопросы. Недавний пример из практики: задания для двух групп респондентов оказались очень разными по уровню сложности – анализ времени ответов на вопросы позволил установить, что причина того не высокие способности, а использование калькулятора.

Статистические методы выявления «читерства» применимы, главным образом, к тестам профессиональных знаний и тестам способностей. Обращаю внимание на то, что статистика указывает нам лишь на вероятность нарушения достоверности процедуры тестирования и не позволяет обвинить кого-то в обмане. Результаты статистического анализа – это повод внимательнее отнестись к полученным данным, по возможности организовать процедуру перетестирования или другой верифицирующей проверки.

Давайте жить честно…

Как ни крути, когда ставки высоки, и конкуренты дышат в спину, люди будут искать хитроумные возможности улучшить свои результаты тестирования. Внимание к первым двум рекомендациям: соблюдение требований к проведению процедуры оценки и использование качественных оценочных инструментов уже значительно поможет снизить угрозы фальсификации. В особых случаях рекомендуем прибегать к тяжёлой артиллерии – прокторингу и Её Величеству Статистике.

И всё же, я верю, что откровенность порождает откровенность, так что будем честными, и мир ответит тем же.

Использованная литература

  1. Российский стандарт тестирования персонала // Организационная психология, 2015. Т. 5. № 2. С. 67–138.
  2. Bishop K.L., Stephens C.N. Detecting Unusual Item Response Patterns Based on Likelihood of Answer // 2nd Annual Conference on Statistical Detection of Potential Test Fraud, October 17-19, 2013. https://cete.ku.edu/sites/cete.ku.edu/files/docs/pdfs_general/test_fraud_2013/1-3%20(Bishop%20%26%20Stephens).pdf
  3. Handbook of Quantitative Methods for Detecting Cheating on Tests // ed. By Gregory J. Cizek, James A. Wollack. – NY: Routledge, 2017
Реклама

Добавить комментарий

Заполните поля или щелкните по значку, чтобы оставить свой комментарий:

Логотип WordPress.com

Для комментария используется ваша учётная запись WordPress.com. Выход / Изменить )

Фотография Twitter

Для комментария используется ваша учётная запись Twitter. Выход / Изменить )

Фотография Facebook

Для комментария используется ваша учётная запись Facebook. Выход / Изменить )

Google+ photo

Для комментария используется ваша учётная запись Google+. Выход / Изменить )

Connecting to %s