Система прокторинга что это

Прокторинг: что нужно знать hr-у

Что такое прокторинг?

Четкого и единого определения в русскоговорящей среде еще не сложилось, сам термин для многих является новым, хотя подобные технологии развиваются уже не один год. Тем не менее, общее определение может звучать так: прокторинг (от англ. «proctor» — надзиратель) — это автоматизированная процедура наблюдения и контроля за дистанционным испытанием.

Зародился прокторинг в электронном обучении: нужно было технологично присматривать за студентами на онлайн экзаменах, чтобы те не списывали. Теперь же он развивается не только в образовании, но и в HR — результаты онлайн-тестов для персонала также должны быть защищены от возможных фальсификаций.

То, как организуется сеанс прокторинга, зависит от провайдера, но суть остается неизменной. Система собирает данные с камеры, микрофона и экрана компьютера респондента, анализирует процесс тестирования, подтверждает личность, фиксирует возможные нарушения. И в итоге предоставляет организатору тестирования видеозапись процесса и оценку достоверности полученных результатов.

Как работает система прокторинга

Сервис призван автоматически отслеживать и пресекать следующие распространенные нарушения:

Что произойдет, если будет зафиксировано нарушение? Организатор самостоятельно определяет, как поведет себя программа:

Какие технологии используются в системе онлайн прокторинга?

Программа анализирует большой объем поступающих данных. Это и видео, и аудио, и события в браузере респондента. Для этого используется машинное обучение — класс методов искусственного интеллекта — специальные алгоритмы, обученные модели, которые в режиме реального времени способны определить нарушения.

Помимо технических возможностей системы, стоит отметить еще и ее психологический эффект. Осознание того, что за тобой наблюдают, заставляет отказаться от попыток обмана. И сам факт наблюдения становится большим подспорьем в обеспечении достоверности результатов тестирования.

Этапы работы с системой: что делает организатор

Правила проведения: что делает респондент

Порядок проведения сеанса прокторинга зависит от требований организатора и конкретного испытания. Но правила стандартной процедуры таковы:

Прокторинг в подборе и оценке персонала

Проблема фальсификации результатов оценочных процедур стара как мир. Всем знаком образ школьника, списывающего на контрольной, студента, который сдает экзамен со шпаргалками… И с возрастом это не проходит, напротив, чем дальше — тем выше ставки, и тем сильнее желание попробовать во что бы то ни стало «пройти тест». Тестирование при приеме на работу или формировании кадрового резерва, прохождение аттестации: проблема «списываний» становится головной болью уже не работников сферы образования, а HR-ов. Причем сильной.

HR-ы до недавнего времени боролись с этой проблемой примерно так же, как и экзаменаторы в учебной аудитории: вживую наблюдали за респондентами, своими силами администрировали процесс. Но все это работает лишь в индивидуальной оценке, максимум — в малых группах. А развитие дистанционных оценочных процедур накладывает свои требования. Российский Стандарт тестирования персонала прямо указывает на то, что при применении открытого дистанционного онлайн тестирования в ситуации экспертизы гарантия достоверности результатов отсутствует и полученные таким образом данные диагностики не могут влиять на окончательные управленческие решения.

Эти две причины — сильное стремление респондентов показать наилучший результат и развитие массового дистанционного онлайн тестирования — создают столь высокую потребность в применении технологий прокторинга именно в HR-практике.

Конечно, такое дистанционное наблюдение в подборе и оценке персонала прежде всего актуально при тестировании знаний и интеллекта. Что же делать с личностными опросниками? При их применении могут проявиться более тонкие факторы, снижающие достоверность результатов. Например, мотивационные искажения: стремление соответствовать пожеланиям работодателя, выглядеть в лучшем свете («Просто надо быть правдивым, благородным, справедливым, умным, честным, сильным, добрым — только и всего!»). Только лишь наблюдать за респондентом в этой ситуации уже недостаточно. В психометрике есть ответы и на эти вопросы. Всесторонне эта тема раскрыта в статье Алёны Мезенцевой, Руководителя отдела исследований и разработок Лаборатории «Сам Абрам дался в обман, или фальсификация результатов тестирования и как с ней бороться».

Возвращаясь к прокторингу подчеркнем, что он точечно решает конкретную проблему, для которой предназначен, не больше и не меньше. Но делает это хорошо: легко и технологично, занимая заслуженное место в ряду современных, автоматизированных и удобных HR-решений.

Интеграция системы тестирования Maintest и прокторинга

Лаборатория «Гуманитарные Технологии» не является непосредственным поставщиком программного обеспечения для прокторинга. На этом специфическом рынке есть свои профессионалы. У каждого провайдера есть свои возможности и особенности, свой тарифный план. Вы можете выбрать того, кто больше других подходит под требования и условия конкретной процедуры тестирования. А мы предлагаем вам интеграцию систем.

Интеграция — это процесс объединения частей в целое. В данном случае это объединение сеанса тестирования, который осуществляется в нашей оболочке Maintest, с сеансом прокторинга (платформа предоставляется выбранным провайдером). Две системы незаметно для пользователя взаимодействуют между собой, а управлять всеми процессами можно из единого личного кабинета в Maintest.

На что мы обращаем особое внимание при осуществлении интеграции

Рис. 2 – Предупреждение респондента о нарушении процесса тестирования.

В личном кабинете Maintest пользователь может управлять настройками прокторинга:

Варианты подключения услуги

Авторы: Григорий Красночуб, программист Human Technologies;
Татьяна Преснова, редактор информационных ресурсов Human Technologies.

В вашей почте раз в неделю. А еще: новости, акции и мероприятия для HR.

Источник

Что такое система прокторинга и как её обойти

Пандемия показала, что система отечественного образования срочно нуждается в модернизации, а также готовности перейти на онлайн-формат. При этом одни вузы более готовы к ней, другие – менее.

О новостях из жизни разных вузах вы можете читать на нашем телеграм-канале, который постоянно пополняется новостями. А в группе время от времени раздают бонусы и скидки студентам.

Одним из новейших решений стала система прокторинга. О том, что это такое, как оно работает и когда применяется – расскажем далее.

Что такое прокторинг и почему с ним лучше

Личный контакт с преподавателем (особенно на экзамене) многих пугает, как и ожидание перед дверью, тишина и зоркое внимание экзаменатора за каждым движением. Стоило преподавателю просто заподозрить обман. Он мог выставить студента для пересдачи. Это вносило оттенок субъективности.

С онлайн-прокторингом все стало объективнее и проще.

Прокторинг – система контроля на онлайн-экзамене/тестировании. Контроль осуществляет проктор – администратор, который наблюдает за процессом через веб-камеру.

Онлайн-прокторинг позволяет подтвердить личность учащегося, исключить использование шпаргалок и помочь преподавателю объективно оценить знания.

Система появилась в Америке еще в 2008 году

Сегодня технологии прокторинга сильно развиты. Есть 3 вида отслеживания онлайн-тестирования:

Вуз может использовать синхронный прокторинг с помощью программы «Экзамус» (или другой, синхронный с участием проктора) и асинхронный прокторинг (система ведет запись всего процесса с фиксацией нарушений без прерывания экзамена, а запись потом проверяют специальные люди).

Как проходит экзамен во время прокторинга

Экзамен в системе прокторинга можно пройти в любом месте, где есть надежный интернет и веб-камера.
Учащемуся нужно заранее установить на свой компьютер специализированное ПО, которая будет записывать экран.

Процедура выглядит следующим образом:

Что запрещено делать во время прокторинга

Есть четкий порядок действий, которые можно совершать во время экзамена в системе прокторинга. Например, можно пользоваться рукописным конспектом, звонить проктору, если возникли технические проблемы (пропал интернет, отключили свет и т.д.).

А вот чего делать нельзя:

Если проктор обнаружит хотя бы одно нарушение, он зафиксирует все и передаст замечания преподавателю. Если студент совершает сразу несколько грубых нарушений или не реагирует на замечания проктора, экзамен можно прервать или даже аннулировать.

Где можно использовать прокторинг

Эта система, ставшая популярной в сфере образования из-за пандемии, может быть полезной и в следующих сферах:

Советы по подготовке к экзамену в системе прокторинга

Если вы раньше никогда не проходили экзамен с прокторингом, вот несколько советов, которые помогут пройти испытание без лишней нервотрепки и проблем:

Как обойти прокторинг на экзамене

Лучше не искать способы, как обмануть прокторинг. Если у проктора возникнут подозрения, он может досрочно завершить экзамен.

Но некоторых это не пугает. Студенты умудряются подключаться по микронаушнику задолго до начала экзамена. Таким образом можно надиктовать своему помощнику на том конце провода вопрос и прослушать ответ.

Особенно продвинутые качают программы демонстрации экрана. И к моменту начала экзамена помощник студента уже видит по экрану все то же, что видит сам студент. И по тому же микронаушнику получает правильный ответ.

Разработчики не рассказывают о том, какие технологии используют в системе онлайн-прокторинга. Это не только коммерческая тайна, но и способ не дать студентам разобраться в них, чтобы потом искать методы обхода.

С первого взгляда может показаться, что система прокторинга в электронном обучении слишком строга. На самом деле сдать в ней экзамен гораздо проще, чем у преподавателя. Здесь напрочь отсутствует субъективное отношение, человеческий фактор в виде плохого настроения/самочувствия преподавателя. Можно надеяться только на свои знания.

Впрочем, в любом случае у вас всегда будет надежная поддержка в виде сервиса студенческой помощи.

Источник

Оценка онлайн-прокторинга в качестве перспективы будущего

Введение

В последнее время системы образования по всему миру претерпевают огромные преобразования, катализатором которых стала пандемия COVID-19. В условиях перехода на онлайн обучение у множества учебных заведений возник вопрос – каким образом стоит организовывать проведение экзаменационных испытаний? На помощь пришли так называемые системы прокторинга, представляющие собой специальное программное обеспечение для дистанционного наблюдения, протоколирования и оценивания поведения пользователей во время проведения экзаменов. Нужно отметить, что подобные системы начали развиваться в России примерно за 5 лет до начала пандемии. Их использовали некоторые передовые университеты, такие как ВШЭ и РАНХиГС, а также представители бизнеса для проведения удаленных тестирований сотрудников. Сам по себе термин «proctor» переводится с английского, как «наблюдатель»; должность с таким названием существовала в английских учебных заведениях еще в позднем Средневековье.

Среди отечественных систем прокторинга наиболее крупными игроками рынка являются Examus и ProctorEdu, наиболее распространенными в общемировой практике – ProctorU, AIProctor, Honorlock, Talview, Examity, Proctorio и некоторые другие.

Говоря о видах применяемых режимов, здесь можно выделить:

асинхронный прокторинг – когда идентификация личности, а также весь ход экзамена обеспечивается программно с использованием технологий искусственного интеллекта. Различные запрещенные действия (такие, как отсутствие студента в кадре, появление посторонних лиц, разговоры и др.) здесь фиксируются в автоматическом режиме. После завершения экзамена сохраняется видео процесса сдачи, которое просматривает человек;

синхронный прокторинг – в этом случае отслеживанием действий испытуемого занимается как человек-проктор, так и искусственный интеллект одновременно. Согласно информации, приведенной на сайте Examus, один специалист может одновременно сопровождать экзамен для 9 студентов;

автоматический прокторинг – он похож на асинхронный, но главное отличие заключается в том, что результаты предоставляются заказчику в форме отчета, и специалисты впоследствии не могут собственноручно посмотреть видео.

Систему прокторинга применяют не только в онлайн-обучении, но и в аттестации и тестировании специалистов на предприятиях. За что особенно полюбился не только учебным центрам, но и бизнесу.

Вот основные 3 области его применения.

Подбор персонала. С помощью тестов с прокторингом HR-менеджеры и руководители могут проверить профнавыки соискателей из других регионов и стран. Отобрать лучших и отсеять неподходящих кандидатов на должность, экономя собственное время и деньги компании.

Онлайн-обучение. Особенно это актуально для компаний, которые обучают специалистов из разных филиалов. Сотрудники повышают квалификацию онлайн, а экзамен сдают с прокторингом. Так руководители и владельцы компаний дополнительно подстраховываются от фальсификации результатов экзаменов и могут быть уверены в эффективности своих вложений.

Тестирование и аттестация персонала. Необходимость в прокторинге не всегда связана с обучением. Его также используют при тестировании hard skills сотрудников. Обычно такие тесты проводят перед кадровыми ротациями или когда принимаются решения о надбавках к зарплате. Зная это, сотрудники могут хитрить и пытаться улучшить результаты тестов. Прокторинг поможет объективно оценить знания работников и исключить любые попытки манипуляций.

Недостатки систем онлайн-прокторинга

Говоря откровенно, современные системы прокторинга еще далеки от потенциального идеала. Не секрет, что часто происходят различные технические сбои во время проведения экзаменов, которые довольно сильно портят жизнь честным испытуемым. Так, этим летом больше половины студентов одного из курсов Санкт-Петербургского государственного университета (СПбГУ) были отправлены на пересдачу общеизвестной системой Examus, которая посчитала, что все они списывали (это определилось по массовому отводу глаз и другим не озвученным факторам). При этом отмечается, что в системе часто происходили различные сбои – например, она отказывалась работать при недостаточном для нее освещении, некорректно отображала экзаменационные задания и др. Известной новостью стало недавнее отчисление двух студенток этого же ВУЗа, которые были уличены за отводом глаз от монитора. Разумеется, не имея полной информации, сложно объективно судить об этих событиях, но в любом случае технические сбои, на которые жалуются очень многие студенты заставляют задуматься о целесообразности применения такого рода систем.

Также одной из насущных проблем является нарушение конфиденциальности. Студенты университетов по всему миру обращаются к своим руководствам с петициями, в которых просят не допустить нарушений по этому вопросу. Их опасения касаются очень многих пунктов, начиная со сбора биометрических данных (которыми также уже оснащены некоторые системы прокторинга, например, Tesla), заканчивая широким доступом к компьютерам испытуемых и их окружению, передающемуся через веб-камеры. Так, петиция в отношении систем Honorlock собрала более 6300 подписей в первую очередь от студентов Международного университета Флориды. Они подчеркивают, что объемы данных, которые собирает компания, могут храниться до двух лет. В июле 2020 года уже произошла известная утечка информации о 440 000 пользователей с мощностей системы ProctorU.

Известен и факт, по которому некоторые студенты, преподаватели и правозащитные группы также подняли тревогу. Он связан с дискриминацией студентов-инвалидов, которую навязывают некоторым системам прокторинга. Во-первых, учащиеся с ограниченными возможностями сталкиваются с большими проблемами в ходе проведения экзамена, связанными с технологическими особенностями, во-вторых, системы ложно фиксируют потенциальные нарушения у сдающих, так как некоторые функции ПО (регистрация нажатия клавиш, распознавание лиц и отслеживание движение) на данный момент не переориентированы на работу со студентами-инвалидами.

Результаты опросов о необходимости использования онлайн-прокторинга

Недавно компания Pearson опубликовала результаты опроса о необходимости использования подобных систем в образовательных учреждениях при формировании оценок как в течение года, так и на экзаменах. Участвовали около 5000 человек, включая студентов, родителей и примерно 1100 учителей. Результаты приведены в таблице ниже. Левый блок «Formative assessments» предназначен для формирования текущих оценок, правый «Summative assessments» для итоговых.

Несмотря на то, что система прокторинга очень требовательная и бывают разные технические трудности — у нее есть ряд преимуществ. Прокторинг не даст пройти тест без реальных знаний или получить сертификат за другого или несуществующего специалиста. При этом система контроля существенно экономит время и финансовые ресурсы. Экзамен с прокторингом — это единственная альтернатива очного экзамена, которая сохраняет прозрачность и качество самой процедуры.

Источник

Списать не дам: что такое онлайн-прокторинг и как он работает

Что прокторинг представляет собой сегодня

Об экспертах:

Прокторинг — это процедура контроля за ходом дистанционного испытания (в английском языке «proctor» — это наблюдатель на экзаменах в вузе).

Это понятие уже достаточно хорошо знакомо не только экспертам. Но как он обеспечивается на самом деле и какой ценой? Необходима ли нам такая тотальная система контроля?

Исследователи выделяют следующие прокторинговые системы.

Он осуществляется путем отслеживания приложений, с которыми работают учащиеся на своих ПК, и переключений на другие сервисы во время экзамена.

Например, с помощью приложения «Блокировка браузера» закрывается доступ к другим приложениям во время экзаменов.

Так, онлайн-контроль происходит без экзаменатора, без участия человека. Записываются видео и звук, автоматически выявляется подозрительное поведение человека и фиксируются нарушения. За грубое несоблюдение правил (подмена экзаменуемого, копирование заданий) программа автоматически блокирует доступ к системе.

Реализуется аналогично пассивному, но с добавлением мониторинга в режиме реального времени. Один проктор (наблюдатель) может следить за несколькими учащимися одновременно.

Ограничения и последствия онлайн-прокторинга

Возможности прокторинга ограничены, что иногда вынуждает изменять процедуры многих экзаменов и усложнять их техническое оснащение.

Так, осуществление онлайн-контроля предполагает упрощение заданий экзамена. Это связано с сокращением времени на обдумывание ответов и соблюдением ряда ограничительных мер. Также не все экзамены возможно осуществлять в дистанционном формате.

Согласно апрельскому опросу НКО Educause, главными проблемами, с которыми сталкиваются образовательные учреждения во время внедрения прокторинговых систем, являются стоимость онлайн-контроля (58% респондентов), а также обеспечение конфиденциальности данных учащихся (51%).

Казалось бы, пандемия предоставила прекрасный шанс «переключить» образование на дистанционный формат, но именно вынужденный форсированный перевод процесса в онлайн выявил неподготовленность к этому преподавателей, учащихся, всей системы образования в целом. Он же позволил акцентировать внимание на связанных с этим проблемах, одной из которых является сама оценка.

Кто выступает против онлайн-прокторинга и почему

В некоторых университетах отказываются использовать прокторинговые системы из-за дороговизны процедуры. В России, например, рынок онлайн-прокторинга вообще не развит: на прокторинг вузы выделяют только около 5% своих расходов на онлайн-образование. Также многие эксперты отмечают, что эта технология не является полноценной заменой классической процедуры экзамена. Так, в связи с пандемией коронавируса руководство многих университетов стремилось отсрочить курсы и итоговые экзамены для дальнейшего возобновления процесса обучения в традиционном формате.

Такого же мнения часто придерживаются и сами учащиеся. К примеру, в Техасском технологическом университете (США) студенты негативно отнеслись к введению прокторинга, который воспринимался ими как вторжение «большого брата» в личную жизнь. Учащиеся университета Тилбурга (Нидерланды) создали петицию, призывающую отменить использование прокторинговых систем.

Чем внедрение прокторинга напоминает компьютеризацию шахмат

Любопытно, что проблема имеет место в совершенно, казалось бы, не родственной деятельности, а именно — игре в шахматы. И там можно считать, ситуация уже подходит к своему логическому завершению: внедрение разных программ против читинга (или «читерства»), т.е. мошенничества, приводит к изменению классических шахмат.

Началось все в конце XX века: сначала компьютер победил чемпиона мира Гарри Каспарова в блиц, потом обыграл его в одной из партий матча в классические шахматы, и наконец, выиграл сам матч. Само по себе это было бы не страшно, но параллельно практически линейно снижалась стоимость владения шахматным помощником за счет общего развития ИТ.

С тех пор любой человек, который умеет ходить фигурами и записывать ходы, может обыграть очень сильного гроссмейстера, если у него в доступе будет компьютер с установленной программой.

Таким образом, компьютерные технологии предоставили новичкам новые возможности для читинга — пользования программами во время игры и обращения за советом к профессионалу или просто человеку, имеющему доступ к компьютерным сервисам.

В ответ начали появляться различные модификации классических шахмат. К примеру, шахматы Фишера-960, шахматы с выбранной случайной расстановкой фигур, которые не предоставляют игрокам возможности использовать заученные ходы в начальной части партии. В итоге было создано множество радикальных модификаций классических шахмат, которые фактически представляют собой уже новые игры с сохранением только внешнего вида и основных принципов (к примеру, гексагональные шахматы Глинского, шахматы Капабланки).

Самих же турниров по классическим шахматам проводится все меньше. Так, согласно статистике сайта «Результаты шахматных турниров» (РШТ), в марте 2020 года в России состоялись 175 шахматных турниров, из которых «классика» составила только 38 состязаний, остальное — рапид (в большей степени) и блиц.

В итоге статус-кво в шахматах сейчас таков.

Если применить «шахматные» выводы к образованию, то напрашивается почти полная аналогия. Реально применимы лишь четыре сценария использования онлайн-режима оценивания:

Но ставить вопрос о качестве прокторинга в целом преждевременно, так как процесс оценки в онлайн-режиме меняет в принципе подход к оценке и к ее процедурам. К тому же в связи с переходом на дистанционный формат обучения многие студенты находятся в состоянии стресса и беспокойства, и дополнительный контроль может только навредить.

Прокторинговые системы особенно эффективны в рамках корпоративного обучения, когда нужно охватить большое число экзаменуемых, находящихся, например, в разных уголках страны и мира, или же когда крупной компании необходимо провести оценку большого числа своих сотрудников.

Таким образом, возможности применения онлайн-оценивания действительно ограничены, и можно предполагать, что в самое ближайшее время статус-кво онлайн-тестирования будет сильно изменен.

Источник

Какие виды прокторинга бывают и чем они отличаются?

Экзамен в школе или университете всегда ассоциируется с соблюдением дисциплины. Преподаватель наблюдает за действиями студентов и при обнаружении шпаргалок направляет на пересдачу. Подобная система оценки знаний действует по сей день, однако претерпела изменения. В результате коронакризиса многие вузы проводят тестирования в дистанционном режиме. Для осуществления контроля действий студентов внедряются специальные системы мониторинга, известные как онлайн-прокторинг. Рассмотрим, какие виды прокторинга применяются в образовательных учреждениях.

Что такое прокторинг

Прокторинг представляет собой процедуру осуществления контроля во время онлайн-тестирования. За процессом чаще всего наблюдает специальный человек – проктор. В его обязанности входит наблюдение за действиями студента и происходящим на экране его монитора. Благодаря технологии онлайн-прокторинга возможна идентификация личности экзаменуемого и объективная оценка его знаний. Также исключаетсяиспользование шпаргалок и различных хитростей во время сдачи экзамена.

С повсеместным распространением дистанционного формата обучения, системы для прокторинга становятся все более востребованными. Они делают возможным нахождение экзаменуемого и наблюдателя даже в разных уголках планеты. Для осуществления проверки потребуется лишь компьютер с надежным подключением к интернету, а также доступ к микрофону и веб-камере. Более того, современные системы могут быть автоматизированными, что упрощает процесс.

Синхронный прокторинг

Синхронный прокторинг – это решение, предоставляющее возможность формирования заключения о прохождении тестирования в режиме реального времени. Это займет не более пяти минут после завершения процедуры. Контроль за действиями студента в этом случае осуществляется проктором. Специальный сотрудник наблюдает за соблюдением предписанных процедур и может оставлять комментарии в специально предназначенном чате.

Видеозапись ведется из двух источников: с веб-камеры и экрана монитора сдающего. Экзамен может быть прерван, если проктор заметит нарушения и пометит его как недостоверный. Причиной этому могут послужить следующие нарушения: списывание и игнорирование студентом замечаний наблюдателя в чате, посторонние люди в комнате и т.д.

Плюсы

Эта разновидность прокторинга позволяет обеспечить максимальную точность результата. Возможно проведение синхронного процесса как с вынесением оценки при помощи автоматизированного алгоритма, так и посредством наблюдения реальным человеком. Работа проктора имеет удаленный характер.

Минусы

Наиболее затратный из возможных методов внедрения системы онлайн-мониторинга за проведением экзаменов.

Когда используют

Чаще всего эта технология находит применение во время письменных тестирований и экзаменов. Возможно одновременное наблюдение проктором сразу за тридцатью студентами.

Асинхронный прокторинг

Особенность этого метода в формировании и предоставлении заключения спустя определенный период после завершения тестирования. Продолжительность этого периода фиксируется условиями договора. Подобная «задержка» требуется для выполнения ручной проверки проктором. Непосредственно идентификация личности и наблюдение за экзаменуемыми проводится в автоматическом режиме.

В ходе теста программа отслеживает действия, запрещенные для студентов. ПО запрограммировано на обнаружение следующих нарушений:

Плюсы

Главное преимущество технологии в том, что она требует меньших финансовых затрат, нежели предыдущая разновидность. Более того, не потребуется согласовывать рабочий график прокторов.

Минусы

В этом случае проверка имеет выборочный характер, поскольку перепроверка видеозаписей будет только в том случае, если в заключении стоит низкая оценка доверия.

Когда используют

Использование ИИ позволяет обойтись без присутствия проктора, что делает систему эффективной для внедрения в процессы, не требующие наблюдателя. Асинхронный прокторинг станет лучшим решением в ситуациях, когда требуется автоматизация процессов тестирования при минимальных затратах.

Этот метод позволит сделать дистанционный процесс тестирования настолько эффективным с точки зрения экономичности, насколько только возможно это представить. Особенно оценят систему вузы, испытывающие трудности с составлением расписания многочисленных тестирований.

Выбирать оптимальный тип системы, осуществляющей контроль проведения экзаменов, стоит исходя из специфики дисциплины и бюджета учреждения. Для каждого из отдельных случаев синхронный и асинхронный прокторинг будут работать с разным уровнем эффективности.

Варианты прокторинга в системе ProctorEdu

Сервис ProctorEdu осуществляет полный спектр услуг, связанных с интеграцией систем онлайн-мониторинга для образовательных учреждений. Среди способов внедрения программного обеспечения для автоматической проверки личности, осуществления видеозаписи и предоставления результатов с помощью ИИ, можно выделить несколько вариантов. Подробнее о каждом из них.

Полная автоматизация

Способ, позволяющий минимизировать затраты за счет автоматизированного процесса наблюдения. При выявлении нарушений со стороны студентов они фиксируются с помощью специальной отметки времени на видеозаписи. Отчет с метками и анализом предоставляется в течение пяти минут с момента окончания.

Проверка человеком

При необходимости возможно осуществление проверки сотрудником вуза моментов видеозаписи, в которых система зафиксировала нарушения.

Живой прокторинг

Позволяет контролировать проведение экзамена в реальном времени. Доступны решения для живого прокторинга с осуществлением анализа поведенческих показателей. Искусственный интеллект реагирует на действия студентов, сигнализируя проктору о необходимости обратить внимание. Такой подход обеспечивает предельную точность результатов.

Устный экзамен

Использование системы прокторинга возможно даже для контроля за проведением устных экзаменов. Особенно эффективной она становится, если несколько студентов сдают экзамен одновременно.

Записаться на демонстрацию работы сервиса можно на сайте ProctorEdu. Все продукты доступны независимо от типа устройств и имеют настраиваемые показатели. Надежность и доступность – главные преимущества сервиса.

Источник

Прокторинг в онлайн-экзаменах: как это работает?

Stepik — на данный момент единственная русскоязычная образовательная онлайн-платформа, на который любой желающий может создать экзамен с прокторингом (онлайн-сопровождением и контролем учащегося). Притом такой экзамен может иметь заданную продолжительность, ограниченное время на прохождение, точную дату начала.

В данной статье мы расскажем про то, зачем нужен прокторинг, и в подробностях опишем интеграцию системы онлайн-прокторинга ProctorEdu с платформой Stepik.

Если вы знаете, что такое онлайн-прокторинг и какие он дает преимущества для реализации процесса проведения онлайн-экзаменов, то пропускайте следующую описательную часть и сразу переходите к вопросам реализации в главе Что такое экзамен на Stepik?

Вступление

Для перевода обучающих материалов и тестовых заданий в онлайн-формат подходят практически любые области знания — от IT до HR. Например, онлайн можно можно проводить обучение новых сотрудников в компании, или осуществлять автоматическую проверку кода, или обучать работе с базами данных — и всё это непосредственно на образовательной платформе без необходимости для преподавателей или учащихся разворачивать инфраструктуру на локальных компьютерах. При этом решается проблема проверки полученных знаний, т.к. можно провести финальный экзамен по курсу в том же онлайн-формате, в котором учащийся проходил онлайн-курс. Не надо заставлять человека, желающего получить сертификат, ехать в рабочее время в Центр тестирования, нервничать из-за новой незнакомой обстановки, когда можно предоставить возможность пройти онлайн-экзамен в том же знакомом интерфейсе в удобное время, при этом сидя в комфортном кресле.

Рассмотрим IT-индустрию: например, центр сертификации Microsoft позволяет проходить сертификационные экзамены удаленно, компания Hortonworks организует получение сертификатов по администрированию собственной платформы, предоставляя доступ к удаленной виртуальной машине и список заданий, которые нужно сделать.

И, всё-таки, несмотря на неудобство для экзаменуемых, стоимость сертификатов в IT-индустрии достаточно высока, и оборудование физических помещений под цели проведения экзаменов, для которых необходимо проверять личность сдающего и осуществлять строгий контроль за процессом сдачи, может быть рентабельно. Но если посмотреть на ситуацию, когда быстрорастущей компании, которая работает в нескольких регионах, нужно массово обучать и проверять знания сотрудников, а затем на основе этой информации принимать финансовые и HR-решения, процесс организации физического присутствия сотрудников на экзаменах может стать очень дорогим и организационно сложным для масштабирования.

Как же прокторинг всех спасёт?

Давайте представим, что появился новый конкурент Uber компания Taxibus, которая называет своим ключевым преимуществом вежливость и высокий профессионализм своих водителей. Для этого водитель, сотрудничающий с компанией Taxibus, должен ежеквартально сдавать теорию по ПДД и экзамен по правилам эффективного общения. В случае успешной сдачи экзаменов водитель получает льготный тариф, который позволяет ему отдавать транспортной компании не 7, а 5% комиссии от стоимости каждой поездки. К работе с компанией Taxibus подключилось уже около 7 тысяч водителей в 15 городах страны, и чтобы не тратить деньги на аренду помещений и оплату зарплаты сотрудникам-прокторам, осуществляющим контроль процесса сдачи экзамена, компания разработала онлайн-экзамены, доступные водителям в любое время с их личных компьютеров или мобильных устройств. Однако, некоторые водители не хотят готовиться к экзаменам, но их привлекает возможность получить дополнительный бонус от компании. Поэтому они просят своих друзей, уже успешно сдавших экзамен, пройти экзамен вместо них.

Чтобы однозначно подтвердить личность сдающего и получить уверенность, что экзамен был сдан честно, без использования посторонней помощи, организаторы обучения могут подключить к экзаменам в своей обучающей платформе систему онлайн-прокторинга. Основная задача таких систем — через доступ к веб-камере, микрофону и рабочему столу пользователя подтверждать соблюдение регламента экзамена в автоматическом или полуавтоматическом режимах (о чем мы еще скажем ниже), как делал бы это реальный проктор при физическом присутствии сдающего на экзамене. Подробнее о том, как работают такие системы можно прочитать здесь.

В случае сдачи онлайн-экзаменов по IT-дисциплинам может использоваться такая же система. Системы прокторинга довольно сложны сами по себе, т.к. они требуют работы с несколькими видео-потоками, организации систем хранения видео и аудио информации, технологий распознавания лиц и речи, разработку интерфейсов проктора для управления процессом сдачи экзамена и экзаменуемого. Поэтому Stepik не стал разрабатывать свою технологию онлайн-прокторинга, а использует уже имеющиеся решения. В этом посте мы хотим рассказать некоторые технические подробности, о том, как мы интегрировали систему онлайн-прокторинга ProctorEdu для работы с нашей платформой, и как наши преподаватели курсов могут настроить прокторинг в экзаменах в своих курсах на Stepik для более надежной верификации экзаменационных сессий.

В Stepik уроки объединяются в модули или учебные недели. Любой модуль можно превратить в экзамен, выбрав в настройках тип модуля «Экзамен» и задав продолжительность экзамена. Учащиеся смогут приступить к прохождению экзамена в промежуток времени, который задает преподаватель курса, нажав кнопку «Начать экзамен». Пока длится экзамен, учащийся видит таймер с обратным отсчетом. После окончания экзамена учащийся больше не сможет набирать баллы в экзамене.

Когда пользователь приступает к экзамену, для него в базе создается запись exam-session, в которую записывается дата начала экзамена пользователем. Зная дату начала и продолжительность экзамена exam_duration_minutes, мы в интерфейсе отображаем оставшееся время пользователю. Пользователь получит только те баллы за правильные решения, которые он успел получить до окончания экзамена.

Как технически устроена интеграция с провайдером прокторинга?

Реализация возможности проходить экзамены с онлайн-прокторингом наложила дополнительные ограничения на возможность создания записи exam-session — пользователь должен иметь возможность записаться на доступный сеанс прокторинга и приступать к экзамену только, когда получил на это разрешение проктора. При этом проктор должен иметь возможность досрочно закрыть доступ к экзамену в случае нарушений, а также оценить наличие и отсутствие нарушений во время экзамена, которые могут повлиять на итоговую оценку. Для этого в Stepik мы добавили еще одну модель proctor-session, которая связана с экзаменационным модулем и позволяет создать exam-session только при наличии запущенной proctor-session (с установленной start_date).

Как мы уже упомянули выше, для учащегося отличие экзамена с прокторингом от обычного экзамена состоит в том, что на прокторинг нужно записываться заранее, когда у проктора, контролирующего экзамен, есть свободные слоты времени. В интерфейсе Stepik это решается на странице экзамена — пользователю предлагается записаться на сеанс прокторинга, для записи пользователь переходит по ссылке на ProctorEdu (в этом момент создается proctor-session для данного пользователя), регистрируется там со своим Stepik-аккаунтом через протокол OAuth2 и выбирает время, доступное для прохождения экзамена.

Учащийся сможет начать экзамен (т.е. создать exam-session) только при наличии запущенной proctor-session (для которой proctor выполнил команду start). Когда учащемуся экзамен становится доступным для прохождения, он видит активную кнопку «Начать экзамен» и может приступить к прохождению экзамена.

Для управления proctor-sessions пользователей провайдер прокторинга (которому мы назначаем специальную роль «proctor») регистрирует у нас серверное приложение по протоколу OAuth2. Данное приложение сможет управлять сессиями прокторинга учащихся на платформе Stepik, с помощью команд которые мы описали выше.

Как создать экзамен с прокторингом на Stepik?

Интеграция ProctorEdu и Stepik: взгляд со стороны системы прокторинга

Автоматизированная система прокторинга ProctorEdu — облачное решение SaaS (программное обеспечение как сервис), которое позволяет организовать и провести экзамены по процедуре прокторинга. Сеансы записываются и анализируются на предмет нарушений, после чего формируются отчеты.
ProctorEdu предоставляет интерфейсы для организации рабочего пространства прокторов со стороны образовательной организации, но также может и предоставлять своих прокторов.

Как происходит интеграция ProctorEdu и LMS в общем случае?

Интеграция ProctorEdu и Stepik

Схема подключения Stepik к системе ProctorEdu

Для интеграции с платформой Stepik на данный момент используется первый вариант из описанных выше: был разработан специальный API, который построен таким образом, чтобы можно было гибко настраивать протокол обмена данными между LMS и системой ProctorEdu в формате JSON.

Экзамен не будет начат пока эти требования не будут соблюдены. Во время самого экзамена осуществляется трансляция и запись веб-камеры, рабочего стола и дополнительной камеры студента, выполняется автоматическое отслеживание нарушений. В начале каждого сеанса автоматически делается фотография лица студента, эта фотография проходит процедуру идентификации личности и определяется процент схожести лица в сеансе с фотографией из профиля.
На протяжении всего экзамена осуществляется непрерывная верификация личности человека за компьютером, которая основана на методах автоматического обнаружения и распознавания лиц и методе анализа клавиатурного почерка. Проктор может наблюдать за назначенными ему студентами, видеть их трансляции, видеть уведомления о зафиксированных нарушениях. При необходимости проктор может связаться со студентом по видеосвязи или через чат. Также проктор может прервать экзамен в любой момент и указать причину в комментарии к сеансу.
После завершения экзамена формируется оценка степени доверия к результатам экзамена в процентах, формируется интерактивный протокол с видеозаписью всех трансляций, историей переписки и поминутной детализацией зафиксированных нарушений.

Интерфейс студента при прохождении экзамена на Stepik, проводящийся через систему ProctorEdu

Взаимодействие со Stepik осуществляется студентом из интерфейса системы ProctorEdu, в этом случае страница экзамена загружается через IFRAME по указанному в сеансе адресу. Экзамены импортируются из Stepik при входе студента в систему ProctorEdu.

Заключение

В окончании статьи хотим привести плюсы и минусы экзаменов с онлайн-прокторингом.

Если вам интересно сделать свой экзамен с прокторингом на Stepik или полноценный онлайн-курс, напишите нам письмо.

Как вы считаете, достаточно ли надёжны результаты прокторинга? Если бы перед вами стояла задача проведения онлайн-экзамена, воспользовались бы вы функцией прокторинга?

Источник

Главное о прокторинге

В формате часто задаваемых вопросов рассказываем вам подробнее о процессе проведения экзамена.

FAQ по прокторингу

Для обеспечения качества и достоверности оценивания в НИУ ВШЭ используются технологии прокторинга (англ. «proctor» – контролировать ход экзамена).

Прокторы, как и на обычном экзамене в аудитории, контролируют, чтобы экзаменуемые проходили испытания честно: выполняли задания самостоятельно и не пользовались дополнительными материалами. Следить за онлайн-экзаменом в реальном времени по веб-камере может как специалист (очный прокторинг), так и программа, контролирующая рабочий стол испытуемого, количество лиц в кадре, посторонние звуки или голоса и даже движения взгляда (киберпрокторинг). Часто используется вид смешанного прокторинга: видеозапись экзамена с замечаниями программы дополнительно просматривает человек и решает, действительно ли нарушения имели место.

Подробнее о технологии проведения прокторинга вы можете прочитать в правилах проведения экзаменов с прокторингом.

Базовые инструкции и технические требования указаны в требованиях к компьютерной технике.

Поступающий не имеет права во время вступительного испытания разговаривать с третьими лицами, использовать справочные материалы (книги, записи и т.д.), любые гаджеты (мобильные телефоны, пейджеры, планшеты и т.д.), наушники, калькуляторы, дополнительные мониторы и компьютерную технику, кроме той, что непосредственно используется для вступительного испытания (за исключением случаев, когда это разрешено правилами конкретного вступительного испытания).

Ваш компьютер должен соответветствовать следующим техническим требованиям.

Для идентификации личности абитуриентам, указавшим загранпаспорт при подаче, можно представить оригинал заграничного паспорта.

После прохождения идентификации возьмите в руки вашу веб-камеру или ноутбук, если камера встроена, и покажите ваш стол, а также комнату вокруг, сфотографируйте экран монитора и покажите фотографию в камеру. Затем уберите телефон, верните камеру на место так, чтобы вас было видно по грудь в окошке на панели прокторинга Экзамус и приступайте к тестированию.

Если у вас моноблок (камера не снимается), возьмите мобильный телефон, сфотографируйте ваш рабочий стол и покажите фото в камеру. После этого уберите телефон со стола.

Вы можете нажать кнопку «Начать тестирование» не позднее чем через 30 минут после указанного в расписании времени старта экзамена. После этого начало экзамена в системе станет для вас недоступно.

Отсчет времени экзамена начинается с того момента, как вы нажмете на кнопку «Начать тестирование». Время, затраченное на идентификацию и проверку системой прокторинга, не входит во время экзамена.

В случае технического сбоя оборудования или отсутствия интернета во время проведения экзамена не по вине абитуриента допускается повторная сдача в резервный день. При возникновении технического сбоя абитуриент должен незамедлительно, в день проведения экзамена, но не позднее 23:59 по московскому времени, проинформировать Приемную комиссию по электронной почте о невозможности продолжать экзамен.

Приемная комиссия рассматривает обращение абитуриента, и при подтверждении случая технического сбоя не по вине абитуриента, допускается сдача экзамена в резервный день.

При возникновении сильного шума во время экзамена проктор или система прокторинга отметит это как нарушение, но экзамен не будет прекращен.

При синхронном прокторинге за проведением экзамена наблюдает проктор – специально обученный человек. Задача проктора – не «завалить» абитуриента, а контролировать ход экзамена и гарантировать достоверность самой процедуры оценивания. Во время синхронного прокторинга у абитуриента есть возможность задать вопрос проктору (не по содержанию экзамена) в чате для общения.

Чаще всего у проктора спрашивают, сколько времени осталось до конца экзамена и что нужно делать, если экзамен закончил досрочно.

При серьезных нарушениях (абитуриент встает с места, открывает посторонние вкладки на компьютере, говорит громко вслух, общается с посторонними лицами, принимает помощь в решении заданий, пользуется заранее заготовленными записями, гаджетами, игнорирует комментарии проктора) проктор отметит эти действия как нарушения и отправит абитуриенту предупреждение в чат. При нескольких серьезных нарушениях, если абитуриент не реагирует на замечания, проктор может отметить экзамен как недостоверный.

При асинхронном прокторинге система автоматически запишет ход экзамена без отправки предупреждений абитуриенту. После экзамена сотрудник ВШЭ сможет отсмотреть видео экзамена и подтвердить/опровергнуть возможное нарушение. Сотрудник, который проверяет видеозаписи, знает правила проведения экзамена (чем было можно пользоваться в процессе сдачи: черновики, справочные материалы в бумажном и электронном виде, калькуляторы). Все нестандартные ситуации, на которые абитуриент не может повлиять, рассматриваются с точки зрения здравого смысла и рационального подхода (у абитуриента упала ручка – он наклонился ее поднять, на стол запрыгнула кошка, внезапно заплакал ребенок в соседней комнате, позвонили в дверь и т. д.).

Да, это возможно. Вам придет письмо с приглашением сдать пробный экзамен. Это будет аналогом настоящего экзамена.

Быстро написать по адресу helpexam@hse.ru. В теме письма указать фамилию, регистрационный номер, название экзамена и кратко описать проблему.

Можно. Беспокоиться стоит тем абитуриентам, которые на протяжении всего экзамена регулярно отводят взгляд с экзаменационного задания на посторонние предметы с целью списывания.

Источник

Что такое прокторинг и чем полезен на экзаменах, тестировании и в обучении

Хотите посмотреть, чем может быть полезен прокторинг для вашей компании?

Зарегистрируйтесь, чтобы попасть на бесплатную демонстрацию инструмента от Examus!

Спасибо за заявку!

С вами свяжется менеджер Examus и проведет экскурсию по сервису

Вспомните письменный экзамен в университете. В аудитории тишина, преподаватель следит за каждым движением и любая замеченная шпаргалка — означает пересдачу. Такая система оценивания знаний действует до сих пор и далеко не идеальна. Но сдать экзамен как-то иначе было невозможно — пока не появилось онлайн-обучение.

С развитием e-learning лекционные занятия перешли в компьютеры и смартфоны, общение с преподавателями — в чаты. А экзамены начали сдавать в режиме онлайн с прокторингом: проще, объективнее и без лишних разъездов. Например, наши партнеры компания Examus создали технологию, которая помогает анализировать поведение и эмоции пользователей любых онлайн-сервисов с мобильных устройств и компьютеров, даже при слабых каналах связи. Что же такое прокторинг, для чего он нужен и как его пройти с первого раза, не искушая судьбу и проверяющих — читайте в нашем материале.

Что такое прокторинг

Прокторинг — это процедура контроля на онлайн-экзамене или тестировании, где за всем процессом наблюдает администратор — проктор. Он следит за действиями экзаменуемого с помощью веб-камеры и видит, что происходит на мониторе его компьютера.

Такая технология позволяет подтвердить личность кандидата, объективно оценить его знания, исключить шпаргалки и прочие уловки на экзамене. При этом испытуемый и проктор могут находиться в разных уголках планеты.

Впервые прокторинг стали использовать в Америке в 2008 году. Компания ProctorU, которая и создала эту систему, использовала прокторинг для дистанционного контроля за экзаменом. Тогда за студентами следил администратор через веб-камеру и самостоятельно фиксировал все нарушения.

С тех пор технологии ушли вперед, многое автоматизировали и прокторинг стали проводить 3-мя способами:

Так проходит тестирование с прокторингом на digital-платформе Finassessment

Прокторинг исключает любую заинтересованность учебного центра в результате экзаменов. Так как проктор — это не экзаменатор, а независимое лицо. Он не участвует в учебном процессе, но принимает экзамен и следит, чтобы он прошел по всем правилам. Проктором может быть как специально обученный специалист, так и независимый преподаватель из другой учебной организации или частной компании.

Как все проходит и что нельзя делать во время прокторинга

Онлайн-экзамен или тест с прокторингом можно пройти где угодно. Главное, чтобы в помещении был хороший интернет, под рукой — исправный компьютер и веб-камера. Также придется установить на ПК специальную программу для записи с экрана и соблюдать простые правила и процедуры.

Чтобы пройти экзамен с прокторингом, студенту нужно:

Во время экзамена можно пользоваться рукописными конспектами с курса и звонить проктору в случае технических неполадок (если отключили свет, пропал интернет).

При этом запрещено:

При любом нарушении проверяющий пишет замечание кандидату. А если грубых нарушений было несколько или студент не реагирует на предупреждения — проктор может прервать экзамен досрочно или вовсе его аннулировать.

Где используется прокторинг

Систему прокторинга применяют не только в онлайн-обучении, но и в аттестации и тестировании специалистов на предприятиях. За что особенно полюбился не только учебным центрам, но и бизнесу.

Вот основные 3 области его применения.

Примеры использования прокторинга

Линейные сотрудники Сбербанка периодически проходят онлайн-курсы в корпоративном университете, а экзамены сдают дистанционно с прокторингом. По результатам такого обучения треть специалистов получают повышение или подключаются к новым проектам банка.

Поисковая система Яндекс также перешла на подобную практику. С июля 2019 года получить сертификат по Яндекс.Директу можно, только сдав экзамен с прокторингом. При этом нужно пройти дополнительную авторизацию в системе и выдержать часовой тест с автоматическим видеонаблюдением.

Наша академия использует систему прокторинга с 2014 года в нескольких сферах.

Советы, как сдать экзамен с прокторингом

Если вам предстоит сдать экзамен с прокторингом — не волнуйтесь. Все пройдет гладко, если придерживаться простых советов.

Несмотря на то, что система прокторинга очень требовательная и бывают разные технические трудности — у нее есть ряд преимуществ. Прокторинг не даст пройти тест без реальных знаний или получить сертификат за другого или несуществующего специалиста. При этом система контроля существенно экономит время и финансовые ресурсы как специалистов, так и компаний.

Экзамен с прокторингом — это единственная альтернатива очного экзамена, которая сохраняет прозрачность и качество самой процедуры. И как показывает практика, количество нарушений на экзаменах с прокторингом намного меньше, чем на очных. Во-первых, это обусловлено незаинтересованностью прокторов в результатах экзамена. А во-вторых, сами студенты относятся к испытанию более ответственно и ведут себя спокойней, находясь в привычной обстановке.

Легкого вам прокторинга и высоких баллов на экзаменах!

Источник

«На прокторинг вешают вообще все неудобства, связанные с дистанционными экзаменами»

Основатель российской системы онлайн-прокторинга — о самой страшной «пугалке» студентов XXI века, её реальном влиянии и месте в образовании будущего.

Иллюстрация: Cuz.gallery / Rawpixel / Everett Collection / Courtesy of Virginia Sherwood for USA Network / Annie для Skillbox Media

Из этого интервью вы узнаете:

Дмитрий Истомин

Директор компании «Экзамус»

Как устроен онлайн-прокторинг

— Опишите, пожалуйста, для совсем несведущих процедуру прокторинга на онлайн-экзамене. Вот студент подключается… Что происходит дальше?

Дальше вам показывают, куда нужно сесть, и убеждаются, что у вас нет с собой ничего лишнего, сотовый телефон выключен, бумаг никаких посторонних нет. А в процессе сдачи экзамена, если вы будете разговаривать, вас попросят выйти либо хорошо предупредят.

— А на онлайн-экзамене что происходит?

— Ровно всё то же самое в онлайне. Перед стартом онлайн-экзамена, перед тем как вам выдают вопросы, вы показываете документ, вас идентифицируют. Вас просят показать рабочий стол, то есть чем вы пользуетесь. Это очень важная часть — посмотреть, что у человека за столом, убедиться, что он ничего не спрятал. Вас могут попросить выключить сотовый телефон, отложить его в сторону. После этого открываются экзаменационные вопросы.

Когда человек их решает, ровно так же нельзя пользоваться никакими подсказками, открывать другие страницы, обращаться за помощью к другим людям. Если вы это делаете, то вас призывают к порядку — или вам могут не засчитать экзамен. Один в один. Мы не придумали ничего нового. Мы просто перевели в онлайн процесс, который уже веками существует в офлайне.

Наблюдение может происходить в двух режимах — в синхронном и в асинхронном. В синхронном проктор смотрит, что студент делает, и может с ним чатиться. Это очень надёжный метод, но для него нужно, чтобы было достаточное количество прокторов, то есть наблюдающих.

В асинхронном режиме студент может в любой момент сесть и сдать экзамен — это, кстати, одно из преимуществ системы прокторинга. Проктор просматривает видеозаписи рабочего стола, веб-камеры и опционально изображения со смартфона, который как вторая камера ставится сбоку, чтобы было чётче видно происходящее.

— Обычно прокторинг подаётся как очень технологичная система, которая и сама всё может. Получается, что за процесс всё же отвечает человек, а не машина?

— Если мы посмотрим на развитие технологий искусственного интеллекта, компьютерного зрения и на то, как это применяется, то увидим маркетинговую составляющую: сейчас придёт умная машина, всё сделает, и люди будут не нужны.

Но давайте быть реалистами и смотреть на практику. Как правило, технологии искусственного интеллекта и автоматизации просто позволяют операторам быстрее и эффективнее выполнять свою работу.

А что делают AI-технологии? Распознают видеоизображение, алгоритмы обнаруживают некоторые события — что человек повернулся, что в кадре находится кто-то помимо экзаменуемого, что появился голос или телефон. Из этих событий формируются паттерны поведения. В итоге автоматика даёт проктору рекомендации обратить внимание на определённые вещи. То есть она сильно ускоряет работу проктора в зависимости от правил его работы.

— А проктор — это какой-то особый специалист?

— Прокторы — это в основном бывшие или действующие преподаватели либо операторы рабочих мест. Это люди, у которых есть склонность внимательно, вдумчиво и по многу часов смотреть довольно скучное видео. Далеко не у всех людей это получается.

У нас нет специальных требований к ним, им не нужно какого-то особого технического образования или чего-то ещё. Мы на входе даём тестовые задания, чтобы проверить, могут ли они адекватно и вежливо общаться с другими, как они взаимодействуют в переписке. Дальше мы будущих прокторов тренируем, они проходят испытательный срок под присмотром «старших товарищей».

В итоге у нас до работы доходит порядка 60% людей, остальных мы отсеиваем. А оставшиеся работают — кто-то в реальном времени, кто-то асинхронно.

Мы с СПбГУ работаем над курсом для обучения прокторов внутри университета. Но пока это всё наши внутренние методики обучения, это практика, созданная в результате моего общения с коллегами из США. Я общался там со многими компаниями, изучал, как вузы принимают экзамены. Эти методологии мы адаптировали для российского рынка и сейчас применяем.

— Требования к прокторам и вообще к самой процедуре у всех вузов стандартные или они могут какие-то свои пожелания добавлять?

— У каждого вуза свои требования, и это определённая боль. Есть очень чёткая разница между тем, как действует система прокторинга на Западе, в Америке и в России. В США проктор — независимое лицо, которое принимает решение по поводу того, соблюдаются или нет правила поведения на экзамене. Проктор имеет право прекратить экзамен и вынести вердикт.

В России иначе: у нас последнее слово остаётся за вузами. Поэтому, когда наши прокторы выносят какое-то решение, вуз тщательно смотрит, как его интерпретировать, соглашаться с ним или нет.

В связи с этим возникает масса нюансов, потому что поведение человека можно интерпретировать по-разному. Ведь одно дело, когда студент разложил книжки и списывает, другое — когда признаки списывания или подсказок лишь косвенные. Например, звучит голос за кадром — проктор имеет право это интерпретировать. Он не должен вникать, по поводу чего начался разговор — по поводу погоды или ещё чего-то. Может быть, там закодированные ответы какие-нибудь. Бывает по-разному.

И все вузы интерпретируют по-разному, в каждом своя степень жёсткости. На разные типы экзаменов и даже на разный контингент студентов бывают свои правила. Поэтому нам приходится адаптироваться к каждому вузу: есть согласованная с каждым методология, для каждого мы применяем различные адаптированные методики.

— Как вузы обычно предпочитают интерпретировать сомнительные случаи — помягче или пожёстче?

— Общего тренда нет. Например, университет может быть заинтересован в том, чтобы студенты оставались. Студенты — это же деньги, и в вузе десять раз подумают, прежде чем отчислить человека. Вместе с тем есть практика, когда вуз полностью доверяет нашим экспертам, то есть полностью исключён фактор влияния заинтересованных сторон. В США и Европе работает именно такая схема.

А вот к вступительным олимпиадам требования очень серьёзные, там жёсткий отсев.

— А бывают всё же случаи, когда студенты пожаловались, в вузе провели проверку и факт списывания не подтвердился?

— Бывает по-разному. Это всё равно некоторая интерпретация поведения. В суде есть экспертиза, есть разные мнения. Проктор в данном случае выступает экспертом. Он как эксперт может сказать: человек списывал. Вуз может пересмотреть, сказать: «Мы не согласны с этим экспертным мнением. Мы не берём его во внимание». Окей.

Согласно договору, вуз имеет право так делать, в этом нет ничего страшного. Мы отвечаем за нашу экспертизу, мы придерживаемся рекомендаций прокторов. Другое дело, что финальное решение выносим не мы.

Справедливы ли упрёки в адрес прокторинга — и как он влияет на академическую честность

— В медиапространстве можно найти много претензий к прокторингу, но интересно, какие недостатки можете выделить вы как создатель одной из систем прокторинга. Может, что-то действительно стоило бы улучшить?

— Любая система несовершенна. Недостаток прокторинга уже в том, что его приходится придумывать. Люди почему-то не пишут честно экзамены. Главный баг в этом, а не в том, что прокторинг не может что-то поймать.

Система прокторинга приносит в образование в первую очередь равенство, про которое так часто говорят. Можно бесконечно улучшать систему, точность алгоритмов. Если вы посмотрите на другие отрасли, где применяется автоматика, — распознавание в автомобилях, беспилотники, — то это бесконечный процесс совершенствования.

Например, авторизация по чертам лица — отработанная технология, но и её постоянно улучшают.

— Вы сказали, что прокторинг приносит в образование равенство. Это как?

— Это происходит благодаря повышению честности участников экзаменов. Я убеждён, что главная задача системы прокторинга (и мы уже успешно её выполняем) — именно в этом.

Здесь ровно так же, нужно смотреть на совокупность эффектов. У нас есть статистика, говорящая, что больше 80% людей не будут списывать, если знают, что их контролируют и что за это могут наказать. Есть и психологические тесты. Это не про прокторинг, а в целом про человеческую сущность.

Порядка пяти-семи процентов людей пытаются обмануть систему. Если они видят, что система реагирует, то они успокаиваются и дальше работают в нужном русле. Потом остаются один-два, максимум три процента, которые будут целенаправленно пытаться обмануть систему, пока у них не получится. Борьба за повышение качества, точности алгоритма, новые методы списывания — против одного-трёх процентов. От них наибольшее количество проблем. Но даже если мы не будем заморачиваться на них, всё равно у нас эффект уже очень хороший.

Есть и побочный эффект: люди, которые изначально честно сдают экзамены, прокторингу и возможности поймать нарушителей очень рады. Раздражает, когда я пишу экзамен честно, а сосед у меня списывает. Я знаю, что он списывает, но его никто не поймал, а он набрал много баллов. Хорошо, если я занял третье место и получил что хотел. А если я из-за этого не поступил в вуз? Это негативный фактор.

— Если говорить не про отдельный экзамен, а про систему в целом, как вы считаете, прокторинг помогает развивать культуру академической честности?

— Не надо путать причину со следствием. Применение прокторинга является свидетельством того, что в вузе задумываются об академической честности, но никак не наоборот.

Вы можете внедрить прокторинг в вузе, где не приветствуется честное поведение. Я вас уверяю, там найдут, как саботировать систему. Элементарно скажут: «У нас ничего не работает», «Система плохая», «Интернет виснет», «Камера не подключается», «Электричество отключили». Это не надуманные истории, мы с этим сталкивались, когда в целом вузе саботировали целиком проведение экзамена, потому что не было культуры академической честности.

С академической честности надо начинать. Надо [приходить к ней] какими-то другими методами. Это же не про экзамены, это про некоторые базовые установки, как честно научиться, как готовиться к экзамену. Тренд, что экзамен — это бессмысленная сущность, вместо которой нужно внедрять проектную деятельность или что-то ещё, я целиком поддерживаю. В моём идеальном мире прокторинг не нужен. Системы оценки должны быть абсолютно другими — это не экзамены, где нужно тыкать кнопочки для ответов. Хотя мы можем контролировать и более продвинутые методы проверки знаний и скиллов.

Страшен ли прокторинг — или это миф

— Пока экзамены всё же есть, и, кажется, какие-то страшные меры там применяются. Например, активно жалуются на правило, что нельзя отводить взгляд от экрана дольше, чем на 15–20 секунд (а то и всего на пять). С чем такая, например, норма связана?

— Она связана в основном с мифологией. Никто не будет автоматом удалять с экзамена студента за то, что он на 20 секунд отвёл глаза. Но есть паттерны поведения: если вы будете сидеть и периодически куда-то подглядывать, сверяясь с подсказкой, это же видно. Там не нужно отводить взгляд на 20 секунд. Нужно десять раз отвести его на одну секунду, и вот паттерн поведения.

Очень много мифов со стороны студентов. Например, что мы передаём кому-то телефоны в базу, хотя мы их телефонов даже и не знаем. Много всего.

— Сохранность персональных данных действительно вызывает опасения. Да и список этих данных — например, пользователи возмущаются, что «Экзамус» смотрит интернет-страницы, которые они посещали до экзамена. Зачем?

— Нам не нужны данные о посещённых страницах. Мы собираем куки — это стандартная история. Вы кликаете, соглашаетесь со сбором этих данных, заходя на любой сайт. Просто, наверное, не читаете, что сказано в правилах сайта об этом. У нас стандартная схема: мы используем куки, к которым имеем доступ, чтобы проводить авторизацию пользователя в LMS.

Из тех персональных данных, которые мы обрабатываем, мы не берём ничего лишнего. Если сравнить с тем, что о вас знает Google, — мы просто дети. Пользователи постят свои фоточки в социальные сети, выкладывают их в паблики, и ничего.

— То есть насчёт сбора каких-то лишних данных вне данных об экзамене — это неправда?

Более того, нас уже многократно проверял Роскомнадзор с разных сторон, на нас писали жалобы. Ни разу не нашли существенных нарушений. Последний раз Роскомнадзор проверил нас и сказал: «Друзья, так вы не обрабатываете биометрические персональные данные, поскольку то, что вы храните, не соответствует определённому ГОСТу хранения фотографий, они недостаточно качественные, потому из этого воспроизвести ничего нельзя».

У меня есть бумага из Роскомнадзора, где написано, что мы не обрабатываем биометрические персональные данные. То, что мы сливаем данные, паспорта, телефоны, — это фейки, я на сто процентов гарантирую, что это неправда. Это подтверждено многократными проверками. Если бы нарушения были, мы бы уже не работали.

— Какой миф вы назвали бы самым распространённым и самым удручающим вас?

— Как раз история про отчисления за то, что отвели глаза на 20 секунд. Это квинтэссенция того, как хайпуют на какой-то теме.

Нам приходит много позитивных отзывов. «Как здорово, благодаря вам не надо было никуда ехать, я поступила в университет» — или про честность. Но, к сожалению, эти позитивные отзывы не получают хайпа в информационном поле.

За прошлый год мы промониторили под миллион студентов по всему миру. Человек сто из них громко рассказывают о том, что их несправедливо забанили. В процентном соотношении это ничто, но это формирует информационный фон. Удручает, что именно это идёт на публику, а люди в большинстве своём не вникают в детали. Они считают, что журналисты проводят фактчекинг, а если журналисты что-то транслируют, значит, так и есть. Но дело не всегда обстоит так, как транслируется.

— Скажите, а то, что «Экзамус» планировал ввести электрокардиограмму во время экзамена, то есть практически детектор лжи, — это тоже миф или вы действительно об этом задумывались?

Итоги этих исследований оказались чрезвычайно полезны, мы до сих пор придерживаемся выработанной методологии. Выбрали для себя довольно простые и точные методы идентификации и идём к ним.

— Есть и ещё один «камень» в сторону прокторинга — он считается очень стрессовым. Студенты паникуют, даже просто из-за потенциальных технических проблем: что интернет упадёт, и всё, прощай оценка. Но на вашем сайте написано, что онлайн-экзамен с прокторингом, наоборот, стресс снижает. Вы чем-то можете такую точку зрения подтвердить?

— Предположим, что это простой онлайн-экзамен без прокторинга. Если там пропадёт интернет, это тоже повлияет на то, что студент его не сдаст. С чем связаны переживания — конкретно с прокторингом или в целом с онлайн-форматом? Надо чётко разделять это.

На прокторинг вешают вообще все неудобства, всё, что связано с дистанционными экзаменами. А прокторинг просто даёт возможность студентам не ходить в кампус, чтобы их сдать. Можете представить, насколько это большой профит на вступительных экзаменах для иностранцев. Человеку нужно получать визу, платить за билеты, ехать. Даже из другого города в пределах России или из Подмосковья в Москву доехать — время нужно потратить. Знаете, как я нервничаю, когда еду в общественном транспорте?

Я глубоко убеждён, что в том, что мы даём возможность сдать экзамен удалённо, есть польза. Мы обеспечиваем контроль, чтобы у вуза была уверенность, что всё действительно корректно. В данном случае мы говорим вузам: если не пандемия (когда всё онлайн), давайте, пожалуйста, людям варианты — сдавать дистанционно онлайн с прокторингом или офлайн в кампусе. Давайте посмотрим, какое количество людей выберет сдачу экзамена очно в аудитории под контролем преподавателя. Как вы думаете, сколько студентов реально приедет? Были такие прецеденты, когда экзамены проводились и так, и так. Меньше 5% изъявляли желание приехать лично.

Источник

Прокторинг в онлайн-обучении как это работает?

С каждым годом возрастает популярность дистанционного образования, и прохождение экзаменов онлайн стало обыденностью. Для контроля вовлеченности учащихся в процесс обучения используется специальная система. Прокторинг – эффективное решение для предотвращения списывания и прочих нарушений со стороны студентов. Рассмотрим подробнее, что собой представляет система прокторинга и каковы преимущества его использования.

Что такое прокторинг и почему с ним лучше

Прокторинг – система мониторинга, позволяющая распознавать запрещенные действия во время дистанционного испытания. Название образовано от англ. «proctor» – человек, наблюдающий за ходом экзамена в ВУЗе. Для наблюдения используется сразу три источника: видео- и аудиопоток, а также запись экрана рабочего стола экзаменуемого. При смене вкладок в браузере или использовании стороннего программного обеспечения, системой будет помечено нарушение. Информация, собранная программой, отправляется сотрудникам университета. Чаще всего контроль за ходом прокторинга осуществляет проктор.

Проктор – это специалист, задача которого заключается в том, чтобы следить за процессом тестирования. Специально обученный сотрудник занимается наблюдением за ходом процедуры и выявлением системных ошибок. Система работает с одинаковой эффективностью как при тестировании отдельных пользователей, так и нескольких тысяч. Для ее использования потребуется лишь иметь ноутбук или ПК со стабильным выходом в интернет. Также устройство должно поддерживать микрофон и веб-камеру.

У многих студентов личный контакт с преподавателем вызывает психологический дискомфорт. Томление перед дверью в ожидании своей очереди и контроль экзаменатора за каждым движением – основные источника стресса во время очных экзаменов. С использованием онлайн-прокторинга процесс сдачи экзамена становится более простым. Более того, он исключает вероятность субъективной оценки знаний. За процессом наблюдает проктор – сторонний сотрудник, не заинтересованный в занижении или завышении результатов студентов.

Как работает система онлайн-прокторинга?

Процесс онлайн-прокторинга весьма прост и понятен, и подготовка к нему заключается в следующем:

С помощью системы онлайн-прокторинга удается обнаружить ряд запрещенных действий:

Виды прокторинга в онлайн-обучении

Технологии прокторинга шагнули далеко вперед и существует несколько способов отслеживания онлайн-экзамена:

Преимущества использования системы прокторинга для обучения персонала

Система прокторинга может использоваться не только, чтобы контролировать соблюдение правил во время экзаменов. Это также эффективное решение для компаний, регулярно проводящих обучение своего персонала. Тестирование с помощью онлайн-прокторинга имеет несколько преимуществ:

Источник

Прокторинг: что это такое и как он может помочь компании

Прокторинг – эффективное решение для модернизации системы оценки знаний. Применение системы возможно не только для предотвращения списывания студентами, но и для проведения аттестаций сотрудников компании. Технология активно используется в ведущих мировых вузах и корпорациях. Рассмотрим подробно нюансы ее применения и преимущества для компании.

Что такое прокторинг?

Прокторинг представляет собой процедуру контроля соблюдения правил во время дистанционного тестирования. Решение позволяет избежать личного контакта с экзаменатором, наблюдение осуществляет проктор. Это специально обученный администратор, наблюдающий за ходом экзамена через веб-камеру. Процедура позволяет исключить субъективность оценки, поскольку проктор является сторонним специалистом. Также это исключает вероятность использования шпаргалок и прочих нарушений во время экзамена.

Всего выделяют три разновидности прокторинга: автоматический, синхронный и асинхронный. Каждый из них имеет определенные особенности.

Автоматический

Не предусматривает участие человека, и в качестве проктора выступает искусственный интеллект. Последний наблюдает за поведением учащегося или сотрудника, проходящего тестирование, предварительно распознав его личность.

Киберпроктор способен распознавать появление в кадре посторонних лиц, подмену сдающего, а также устанавливать наличие посторонних звуков. В соответствии с полученными данными о совершенных нарушениях на видео создаются соответствующие отметки времени. Полученный отчет направляется сотрудникам университета или руководителям компании. Они могут признать экзамен сданным или подтвердить наличие нарушений.

Этот способ является наименее затратным, но в ряде случаев его применение не эффективно. Участие администратора незаменимо в следующих ситуациях:

Синхронный

Самый надежный, но вместе с тем, затратный способ. Предполагает наблюдение специалистом за ходом экзамена в режиме онлайн. Проктор наблюдает за процессом через веб-камеру, а также с помощью захвата видео с экрана рабочего стола пользователя.
Проктор контролирует соблюдение правил определенного экзамена. Некоторые учебные заведения и компании позволяют использовать калькулятор или другие вспомогательные материалы. Также среди требований, следование которым может проконтролировать специалист – отсутствие шпаргалок на ладонях и т. д.

Асинхронный

Это комбинированный метод, включающий как наблюдение за процессом киберпроктором, так и человеком. Весь процесс, включая прохождение верификации личности, осуществляется с помощью специального ПО. Система автоматически выявляет нарушения и при их обнаружении система не прерывает процесс экзамена, но помечает их соответствующим образом. Последующую проверку осуществляют сотрудники учебного заведения или компании, которые могут подтвердить или опровергнуть нарушения.

Как работает система

Возможна интеграция сервиса дистанционного обучения или тестирования. Инфраструктура сервиса хранится в виртуальном хранилище, и экзаменуемым не нужно устанавливать какое-либо ПО на свой компьютер. Нужно лишь открыть браузер и, перейдя по ссылке, пройти идентификацию личности.

Система контроля довольно проста, и заключается в сборе и анализе данных из видео-и аудиоканала, а также с рабочего стола экзаменуемого. Сотруднику, которого тестируют, необходимо выполнить несколько действий:

С помощью дистанционной проверки удастся отследить даже незначительные нарушения. Система онлайн-прокторинга фиксирует следующие случаи:

Благодаря подобной организации наблюдения за процессом тестирования, оно становится предельно честным и прозрачным.

Зачем прокторинг бизнесу?

Прокторинг – решение, активно использующиеся не только для контроля знаний учащихся вузов, но и в бизнесе. Чаще всего этот метод удаленного контроля применяется hr-менеджерами. Удаленное тестирование с прокторингом позволяет оценить профессиональный уровень соискателей. Система экономит время при дистанционном наборе персонала и первичном отсеве кандидатов. Также метод может использоваться для периодической аттестации сотрудников.

Использование системы онлайн-прокторинга в обучении сотрудников имеет несколько преимуществ:

Источник

Онлайн-прокторинг:
для кого, зачем и как он работает

Спрос на онлайн-образование постепенно растет, а онлайн-экзамены и сертификаты давно стали нормой. Однако большинство университетов, школ и других учреждений столкнулось с тем, что в удаленном режиме практически невозможно отследить, насколько ученики вовлечены в процесс обучения. Кроме того, при сдаче экзаменов в онлайн-формате у студентов появляется множество возможностей для списывания и других способов облегчения тестирования.

Коронакризис и вынужденный перевод всех студентов на удаленку поставил перед образовательными учреждениями задачу решить проблемы контроля как можно быстрее. На помощь пришли системы онлайн-прокторинга на основе ИИ-технологий (AI online proctoring).

Что такое онлайн-прокторинг

Типы прокторинга

1. Синхронный прокторинг с прокторами

Обычно используется на письменных экзаменах (тестировании). За ходом экзамена в режиме реального времени наблюдает сторонний проктор. Его задача – контролировать прозрачность проведения экзамена. Проктор проводит идентификацию личности студента, контролирует соблюдение всех процедур и может комментировать действия студента в специальном чате. Ведется видеозапись с двух потоков: с веб-камеры студента и рабочего стола его компьютера. Проктор может прервать экзамен, пометив его как недостоверный, в случае возникновения перечисленных в инструкции нарушений: например, студент списывает и не реагирует на замечания проктора в чате. Один проктор может одновременно сопровождать экзамен для 6 студентов. Это самый точный, но и самый затратный вид прокторинга.

2. Асинхронный прокторинг с постпроверкой

Идентификация личности, а также весь ход экзамена обеспечивается программно, система в автоматическом режиме отслеживает некоторые запрещенные действия:
1. отсутствие в кадре студента;
2. второй человек в кадре;
3. разговор во время экзамена;
4. подключение второго монитора.

3. Автоматический мониторинг

Мониторинг полностью проходит без участия человека. Его главное преимущество – низкая стоимость. Однако во многих ситуациях человеческое участие незаменимо, ведь даже самый совершенный ИИ может ошибаться.

Как работает прокторинг

Для студента процесс онлайн-прокторинга довольно прост и не вызывает стресса. К примеру, у нас в “Экзамус” (Examus) процесс устроен следующим образом:

Перед началом экзамена

Шаг 1. Система прокторинга запрашивает доступ к камере и микрофону.
Шаг 2. Решение удаленного прокторинга проверяет стабильность интернет-соединения.
Шаг 3. Система прокторинга проверяет наличие второго экрана и все попытки симулировать или имитировать экран.
Шаг 4. Процесс идентификации студента (если все вышеперечисленные требования выполнены), то есть тестируемый должен будет сфотографировать себя и представить его в систему вместе с документом, удостоверяющим личность (это могут быть водительские права, студенческий билет или кредитная карта).
Шаг 5. Начните экзамен и покажите свои знания!

Во время экзамена

Во время экзамена система онлайн-прокторинга анализирует поведение испытуемого. Если учащимся разрешено пользоваться калькуляторами или бумагой и ручкой в определенных ситуациях – правила системы могут быть соответствующим образом скорректированы. Как правило, системы онлайн-прокторинга отслеживают следующие параметры:

• аномалии в направлении взгляда;
• закрытие части лица;
• наличие других лиц в кадре;
• обнаружение человеческого голоса;
• обнаружение переключения монитора;
• обнаружение вторичных гаджетов;
• обнаружение книг и заметок;
• обнаружение калькулятора (если это не разрешено);
• обнаружение широковещательного ПО;
• обнаружение переключения вкладок в браузере;
• обнаружение сторонних алгоритмов;
• обнаружение невербальной коммуникации.

Решение автоматически помечает все подозрительные действия и добавляет их в отчет. Каждая запись в нем включает разбивку по типу нарушения и соответствующую метку времени.

После экзамена

Система прокторинга собирает и объединяет информацию из всех источников в единую комбинированную запись. После этого программа рассчитывает общую вероятность нарушений во время экзамена: зеленая зона означает низкую вероятность, желтая — среднюю, а красная – высокую. Основываясь на полученных результатах, система Examus способна:

• Показать записи с камеры, микрофона и рабочего стола;
• Показать все возможные нарушения в хронологическом порядке;
• Показать подробную информацию по каждому нарушению (с указанием типа и метки времени).

Источник

Что такое прокторинг?

Все больше сфер жизнедеятельности переходит в онлайн, образование – не исключение. Спрос на дистанционное обучение неумолимо растет, а онлайн-экзамены обретают повсеместное распространение. Однако подавляющая часть учебных учреждений была вынуждена столкнуться с проблемами осуществления контроля вовлечения обучающихся в процесс. Отследить этот момент и исключить возможность списывания во время сдачи экзаменов в формате онлайн поможет прокторинг. Рассказываем подробно о том, что такое экзамен с прокторингом, а также о нюансах и преимуществах подобной системы.

Что такое прокторинг и почему с ним лучше

В связи с пандемией коронавируса, университеты были вынуждены перевести студентов на дистанционное обучение. Однако подобные меры открывают перед студентами множество способов облегчения тестирования. Надежное средство в решении проблемы контроля – система прокторинга, работа которой основана на технологиях искусственного интеллекта. С ее помощью удастся предотвратить списывание во время дистанционных экзаменов и решить ряд других задач, с которыми столкнулось большинство учебных заведений.

Онлайн-прокторинг – специальная система, предназначенная для автоматического обнаружения запрещенных действий во время сдачи экзамена. Система ставит соответствующую пометку при попытке открытия другой вкладки в браузере или использования шпаргалки. После чего эти сведения направляются экзаменатору.

Как можно использовать прокторинг

Чаще всего наблюдение за проведением дистанционного экзамена осуществляет проктор. В обязанности этого специально обученного специалиста входит отслеживание ошибок, которые могла допустить программа. Ее работа в равной мере эффективна как в случае с отдельными пользователями, так и многотысячной аудиторией. Для осуществления проверки потребуется лишь компьютер с выходом в интернет.

Прокторинг простыми словами – это процедура наблюдения за ходом экзамена. В зависимости от типа прокторинга он может применяться для различных видов испытаний. Можно классифицировать их следующим образом:

Как работает прокторинг

С началом тестирования система выполняет анализ поведения тестируемого. Наиболее часто в рамках работы систем онлайн-прокторинга осуществляется отслеживание ряда параметров:

Ограничения и последствия онлайн-прокторинга

В силу ограниченных возможностей системы в некоторых случаях может потребоваться изменение процедуры проведения тестирования, а также усложнение технического оснащения. Внедрение дистанционного контроля также требует упрощать и удалять определенные задания тестирования. Это вызвано необходимостью сокращения времени на подготовку ответа. Более того, не все экзамены могут проводиться в онлайн-формате.

Кому нужен прокторинг

Наиболее востребована система прокторинга для образовательных учреждений, причем, не только для осуществления контроля письменных тестирований, но и для контроля соблюдения правил во время устных и прочих видов экзаменов.

Помимо этого, применение алгоритмов ИИ будет эффективно работать и в других областях. С его помощью сотрудникам будет проще проходить тестирование для повышения квалификации. Также актуально применение прокторинга при приеме на работу и во время презентации нового продукта для исследования уровня вовлеченности аудитории. Ознакомиться с видео-презентацией о работе системы можно, перейдя по ссылке https://www.youtube.com/watch?v=4hYJCcdyl6o&

Источник

Что такое прокторинг и как организовать и сдавать экзамены, сидя дома

В этом году сдавать экзамены и зачеты всем придется онлайн. Как организовать процесс, как контролировать, чтобы не списывали, как ставить оценки и что такое прокторинг? Рассказываем, к чему быть готовым и как настроить процесс.

Опыт проведения онлайн-экзаменов в России и в мире уже есть. Многие годы это делается на массовых открытых онлайн-курсах. В рамках дистанционных программ вузы и цифровые платформы научились проводить экзамены и решать технологические вопросы, связанные с идентификацией личности учащихся, с выполнением требований экзамена. Эта технологическая часть уже решена.

Но в конце этого учебного года нам предстоит резкое масштабирование. Раньше в течение одного семестра онлайн-экзамены сдавали несколько десятков тысяч студентов. И технологии позволяли это делать. Сегодня для прохождения всеми вузами этого испытания придется обеспечить работу сотен тысяч студентов и в короткий промежуток сессии.

Самое главное для вуза — перенести содержание экзамена в онлайн-форму, содержание, которое изначально не спроектировано для проведения в дистанционном формате. Это значит, что необходимы изменения, связанные с самими заданиями, с адаптацией контента заданий и формата ответов, с изменением условий, при которых студенты решают те или иные задания. В удаленном формате лучше давать задания, требующие от студента не просто знаний, а умения их быстро применить для конкретной задачи.

Вузу и преподавателю следует рассмотреть альтернативные решения. Можно отказаться от экзаменов в пользу других форм оценки знаний, например, проектной работы или накопительного итога к концу семестра. Университет 20.35 развивает решения, которые позволяют по каждому студенту накапливать цифровой след, информацию о том, как работал студент, насколько он был вовлечен в решение задач, какие были промежуточные результаты, чтобы можно было быть уверенным, что именно этот студент проявил должные знания и умения в процессе работы. Многие университеты смогут этой возможностью воспользоваться, особенно, если информационные системы вуза позволяют собирать такую информацию.

Университет 20.35 считает, что экзамены в ближайшем будущем могут исчезнуть совсем. Они будут распределены во времени, мы постоянно будем иметь информацию о том, каких результатов достиг обучающийся. Мы сегодня работаем над технологиями, которые позволяют оценивать студента по его реакции на контент и на задания. Используя обратную связь от студента, наблюдая за его эмоциями, за тем, насколько он вовлечен в процесс, как он взаимодействует с контентом, можно узнать действительно ли он усвоил материал и изучил дисциплину, понимает ли он материал и как решать ту или иную задачу.

Но важно не забывать, что экзамен — это всегда испытание, это важная цель. Достижение цели, оценка – это мощный мотивационный фактор. Если откажемся от экзаменов, нам нужно будет по-другому научиться работать с целями и мотивацией студентов. Например, через вовлечение студентов в решение реальных задач, реализацию собственных проектов.

Мы ежедневно общаемся с сотнями вузов, тесно работаем с горячей линией Министерства науки и высшего образования. Минобрнауки обозначило позицию: университеты вправе отказаться от государственного экзамена. Мы провели опрос руководителей вузов в закрытом режиме, а также задали те же самые вопросы через канал «Научно-образовательная политика».

На вопрос «Ваш вуз готов к проведению итоговой аттестации студентов с помощью дистанционных технологий?» 57% читателей журнала ответили «Да», а 43% признали, что не готовы.

На вопрос «Вы знаете, как работает система прокторинга при проведении онлайн-экзаменов?» утвердительно ответили 39%. 61% представителей вузов оказались не знакомы с этими технологиями. А скоро всей системы высшей школы предстоит столкнуться с прокторингом.

Прокторинг – это процедура наблюдения и контроля за дистанционным испытанием (от англ. «proctor» – человек, который следит за ходом экзамена в университете).

При этом 66% вузов не планируют отказываться от проведения госэкзамена. В то же время ряд ведущих университетов, в том числе московские университеты готовы отказаться от проведения в 2020 году государственного экзамена.

Данные этого опроса коррелируют с результатами закрытого опроса. Мы опросили больше 200 университетов и выяснили, что от государственного экзамена планируют отказаться далеко не все, несмотря на то что такое послабление есть.

Студенты 423 российских вузов оценили качество оперативной обратной связи с кафедрами, деканатами и ректоратам. 64% считают обратную связь отличной, 27% — приемлемой и 9% считают качество обратной связи плохим. Этот опрос мы провели неделю назад и связались со студентами, которые оценили качество обратной связи с вузом как «плохое». Выяснилось, что университеты пошли самостоятельным путем и использовали собственные IT-разработки. И перегрузили свои серверы. Основные проблемы наблюдаются именно по этой причине.

У нас пятилетний опыт вступительных испытаний, промежуточных аттестаций и защит в онлайне на платформе Росдистант. В 2016 году диплом в онлайне защищали 388 человек, в 2019 году — 925 человек. В 2020 году на защиту в режиме онлайн планируется вывести 4660 человек.

В личном кабинете студента в Росдистанте указаны курсы, которые студент проходит, как он продвинулся в освоении курса, сколько набрал баллов. Дальше формируется отчет, ведомость, электронная зачетная книжка. Если студент вовремя не набрал нужное количество баллов, проводится повторная промежуточная аттестация, студент повторно подключается к курсу и в течение года может набрать недостающие баллы. Если он не прошел повторную промежуточную аттестацию, то проводится проверка знаний через вебинарную площадку, где собираются члены комиссии. Студент сдает экзамен в формате видеокоммуникации с членами комиссии.

В этом же формате проводится защита выпускных квалификационных работ, сдача госэкзамена.

Самое главное в этой истории — обеспечить аутентификацию при прохождении вступительных экзаменов, высокий уровень прокторинга. Программа сверяет внешность студента на экране, сопоставляет его с фотографией, изначально загруженной в систему. Присутствие членов комиссии возможно в онлайне одновременно или по отдельности.

Такая система дает не меньший уровень защиты от подсказок, как если бы студент находился в аудитории. Студента видит сотрудник центра тестирования, видят члены комиссии. Сама процедура экзамена записывается на камеру и хранится длительное время. Всегда можно посмотреть, куда глядел студент и что он делал руками.

Экзамен с билетами на столе уйдет в прошлое. В качестве экзамена будут восприниматься постоянные перманентные системы оценки, такие как балльно-рейтинговая и накопительная, портфолио, результаты разработок студентов.

Сейчас на рынке есть несколько прокторинговых решений и все они позволяют контролировать процедуру экзамена. Они получают доступ к компьютеру студента, видят, что происходит в браузере, следят, пользуется ли студент сторонними приложениями. Есть возможность в онлайне наблюдать за студентом по вебкамере, смотреть чтобы он не списывал, и предлагать ему различные упражнения. Есть возможность подключать камеру мобильного телефона, чтобы показать, что происходит вокруг.

Сейчас уровень доверия к прокторинговым сервисам недостаточно высокий. Но используемые технологии затрудняют списывание. По опыту проведенных вступительных экзаменов — уровень списывания не больше, чем в аудитории. А возможно и меньше, потому что есть возможность сохранить запись экзамена и вернуться к ней позже. Все это позволяет сохранить высокий уровень честности и высокий уровень доверия к экзаменам с прокторингом.

Многие вузы пользовались прокторингом еще до перехода на дистанционное образование. В некоторых случаях это необходимо, например, когда тысячи студентов проходят массовый экзамен или при проведении Олимпиад для участников со всей страны. Сомнения у партнеров возникают только с точки зрения технологического обеспечения. Прокторинг для многих еще остается «страшным зверем», который требует больших вложений и технических ресурсов. На самом деле сейчас прокторинговые сервисы работают достаточно оперативно, интегрируются с LMS-системами.

Сейчас у вузов еще есть время, чтобы подключить прокторинговые сервисы и провести экзамены в онлайн-формате вместо того, чтобы переносить их или отменять. Формат контроля знаний скорее всего будет в виде записи проектных работ или цифрового следа. В сегодняшнем виде экзамен показывает наличие знаний, а это уже не актуально.

На своем опыте могу сказать, что большинство людей не склонны списывать, если знают, что их контролируют и может последовать наказание. Поэтому эффект от прокторинга — контрольно-психологический. 90% студентов будут лучше готовы к экзамену только потому, что будут знать, что списать сложно.

Когда мы говорим про онлайн-экзамены, мы имеем в виду онлайн-тесты. Это самая простая практика. Прокторинг можно сделать и на устный экзамен, и на письменный экзамен. Можно контролировать практические навыки работы на компьютере с программами. Самое сложное — экзамены по специальностям, которые не имеют отношения к компьютерам, например у медиков.

Когда мы осознали, что итоговую аттестацию предстоит проводить в онлайн-формате, все проблемы разделили на три составляющие: информационная, коммуникационная и организационная.

Самое простое решение нашли для информационной задачи. В вузе функционирует своя система LMS и система тестирования — «АСТ-тестирование». Основная информационная задача решалась через личные кабинеты студентов и преподавателей и через личные кабинеты партнера. В личном кабинете преподаватель может размещать задания, студент ­– результаты и накапливать цифровой след.

Для коммуникаций мы использовали Zoom, Microsoft Team и группы в социальных сетях. Студентам и преподавателям мы предоставили свободу выбирать наиболее удобные каналы коммуникаций.

Экзамены в школе и в университете определенным образом готовят к более сложным экзаменам в жизни, поэтому они должны остаться. А очень серьезное подспорье для качественной оценки на экзамене — это цифровой след.

Источник

Опыт разработки автоматизированной системы прокторинга для подтверждения результатов онлайн-экзаменов

В современной системе образования все большее значение приобретает дистанционное обучение. Во многих странах мира этот формат используется широко и представляет собой ведущую тенденцию. В Россию онлайн-обучение пришло недавно и до сих пор вызывает множество вопросов. Удобство онлайн-обучения сложно переоценить – оно позволяет получить знания в удобное время, в удобной форме и с минимальными затратами. Однако, когда речь идет об аттестации учащихся, выдаче сертификатов, свидетельств и дипломов по результатам обучения и доверии к этим результатам, то дистанционная форма, на первый взгляд, сильно уступает очному обучению. Возникают проблемы верификации личности и распознавания нечестного поведения испытуемого (студента) в ходе тестирования. Важным шагом к решению этой проблемы являются системы прокторинга.

В России до сих пор слово прокторинг мало кому знакомо. Нет четкого представления о функциях этого формата и о способах его организации. В классическом понимании прокторинг — это процедура дистанционного сопровождения онлайн-экзаменов и верификации личности испытуемого с целью повысить уровень доверия к результатам, когда за ходом сдачи экзамена следит удаленный наблюдатель (проктор).

Безусловно, наличие квалифицированного наблюдателя заметно улучшает ситуацию. Проктор может проверить личность студента, следить через веб-камеру за процедурой онлайн-тестирования. Однако, как я покажу далее, формат классического прокторинга имеет ряд ограничений. Последним словом в сфере онлайн-экзаменов является разработка систем частичной или полной автоматизации функций проктора. Автоматизация позволяет не только помочь живому наблюдателю и повысить эффективность его работы, но даже в некоторых случаях заменить проктора.

Я занимаюсь разработкой и внедрением автоматизированной системы дистанционного сопровождения онлайн-экзаменов в компании ProctorEdu. Система позволяет частично или полностью автоматизировать функции прокторинга и может быть интегрирована с другими системами, такими как платформы онлайн-обучения. За последний год удалось значительно продвинуться в этой сфере и накопить кое-какой опыт, которым и хочется поделиться.

Сперва рассмотрим подробнее классическую схему, когда за процедурой удаленной сдачи экзамена в режиме онлайн наблюдает проктор. Обычно проктор может одновременно сопровождать до девяти студентов. В обязанности проктора входит:

Оба этих варианта вполне рабочие, позволяют повысить уровень доверия к результатам экзаменов и защититься от подмены личности. Но у них есть и ряд недостатков:

Система прокторинга технически сложна в реализации, поэтому она не является частью большинства платформ онлайн-обучения. Разрабатываемые отдельно системы прокторинга интегрируется с такими платформами, добавляя в них недостающий функционал.

Чего же удалось добиться? Был разработан сценарий прохождения экзамена на платформах онлайн-обучения, который не требует непосредственного участия проктора, однако не исключает пассивного наблюдения и даже вмешательства в процесс (в текстовом, аудио- и видеоформате). Сначала этот сценарий был длинным и содержал не менее девяти этапов взаимодействия студента (слушателя курсов) с платформой онлайн-обучения и системой прокторинга. Только чтобы начать экзамен надо было выполнить вручную не менее четырех этапов в системе прокторинга: проверка связи, фотография лица, фотография документа, верификация личности проктором. Помимо этого, требовалось поочередно взаимодействовать как с системой онлайн-обучения, так и с системой прокторинга. Все это напоминало квест, который нужно проходить каждому студенту, и вызывало немало вопросов к организаторам.

Постепенно этот путь сокращался за счет автоматизации отдельных этапов и изменения способа интеграции с платформами онлайн-обучения. Сейчас сценарий прохождения экзамена для студента выглядит следующим образом: студент заходит на сайт системы онлайн-обучения, начинает экзамен, проходит экзамен в любой форме (тест, задание, виртуальная лаборатория и пр.), завершает экзамен и получает результат. Иначе говоря, для студента сценарий прохождения экзамена в системе онлайн-обучения не изменяется, а система прокторинга автоматически подключается в момент начала экзамена, наблюдает за студентом на протяжении всего экзамена и заканчивает свою работу в момент завершения экзамена. Это выглядит просто, вся сложность скрыта от студента.

Встраивание функций прокторинга в сценарий прохождения экзамена системы онлайн-обучения (LMS)

Более подробно про каждый этап:

Теперь хочется более подробно рассказать, как работает подсистема обнаружения нечестного поведения во время экзамена.

Структура подсистемы автоматического обнаружения нечестного поведения

На протяжении всего экзамена автоматически собираются данные по динамическим показателям, включая отслеживание действий на компьютере, детекцию лиц и голоса, биометрию. Собранные данные анализируются и обрабатываются, после чего формируется автоматическая оценка качества прохождения экзамена от 0 до 100%. На основании сформированной оценки может быть автоматически выставлено заключение по сеансу с учетом заранее заданных критериев.

Основной акцент делается на том, что для прохождения экзамена не требуется какое-то специальное оборудование, помимо того, что и так обычно есть: веб-камера, микрофон, клавиатура, экран. Собираются данные по следующим событиям:

,
где N — число минут в экзамене, x1, x2, … xk — данные оцениваемых параметров в процентах, E — оценка качества прохождения экзамена в процентах. Функция f(x) описывает метод выбора наиболее значимых событий. Примеры функций f(x):

А вот видео, демонстрирующее работу подсистемы отслеживания событий:

Каждый пройденный экзамен по процедуре прокторинга включает в себя автоматическую оценку от 0 до 100%, фотографию лица студента и интерактивный протокол, который содержит видеозапись с веб-камеры и экрана (опционально), поминутную детализацию зафиксированных событий и другие данные экзамена.

Сохраняемая информация не содержит персональных данных, во время экзамена не требуется показывать в камеру документы, а сохраняемые фотографии лиц не соответствуют ГОСТ Р ИСО/МЭК 19794-5-2006, поэтому не могут считаться биометрическими данными.

При выдаче сертификатов, свидетельств, дипломов осуществляется верификация личности только тех студентов, которые успешно дошли до конца программы обучения, тем самым сокращается общий объем работы. Для подтверждения личности студента учебное заведение может запросить необходимые данные у своего студента, а затем для каждого экзамена сравнить сохраненные системой прокторинга фотографии лица с фотографией в удостоверяющем личность документе. Процедуру сравнения фотографии лица на документах еще предстоит автоматизировать.

Резюмируя, хочется добавить, что вслед за дистанционным обучением развиваются технологии дистанционной сдачи экзаменов с подтверждением личности и подтверждением результатов таких экзаменов. Хочется, чтобы наша страна развивала образовательные технологии и могла составить конкуренцию зарубежным мировым лидерам. Работы предстоит еще много.

Источник