Ростелеком видеонаблюдение егэ

Видеонаблюдение за экзаменом: как это работает

Привет! Как вы знаете, мы являемся провайдером видеонаблюдения на различных значимых событиях, в том числе и ЕГЭ. 

В этом посте мы хотим рассказать про наши платформы видеонаблюдения и видеоаналитики, о том, как устроено наблюдение за экзаменами, какие тут есть сложности и как наш алгоритм помогает выявлять нарушения на экзаменах.

Обычно за ходом экзамена следят специальные люди — наблюдатели. Они отмечают на портале видеонаблюдения smotriege.ru подозрительное поведение участников ЕГЭ и передают обнаруженные нарушения на модерацию в Рособрнадзор. Если модераторы считают, что нарушение действительно было, то его передают дальше на отработку в пункт проведения экзаменов (ППЭ). Сотрудники ППЭ проверяют каждое такое обращение и решают, как поступить с нарушителем. Например, удалить с экзамена, если он использовал телефон или шпаргалку. 

2020 год не стал исключением, и за государственной аттестацией следили онлайн-наблюдатели. Правда, в этот раз у них был помощник — специально обученный алгоритм. Он анализирует последовательность изображений, которые поступают с видеокамер в режиме реального времени или из архивных записей, и находит среди них возможные нарушения: использование шпаргалок, телефона и других девайсов.

Технология видеоаналитики «просматривала» видеопоток из аудитории в режиме онлайн, а между экзаменами — архивные видео из офлайна. Для сравнения: один наблюдатель может следить максимум за четырьмя аудиториями одновременно, а алгоритм может обрабатывать видео из более чем 2000 аудиторий за один экзаменационный день.

Главная цель такой видеоаналитики — помогать наблюдателям находить нарушения во время экзамена, обращать внимание на подозрительное поведение участников ЕГЭ во время экзамена и устранять человеческий фактор в процессе наблюдения.

Как работает алгоритм

Технология находит возможное нарушение, фиксирует его в своей памяти и передает сигнал на портал видеонаблюдения. Наблюдатели просматривают уведомление в разделе «Потенциальное нарушение». Уведомление представляет собой отрывок видеозаписи, в котором отражается информация о том, в каком ППЭ зафиксирована активность, его аудитория. А красным квадратом выделяется та часть экрана, на которую нужно обратить внимание. Просмотрев отрывок, наблюдатель решает, принять или отклонить нарушение. 

Обучение и сложности

Чтобы алгоритм точно распознавал поведение участников ЕГЭ и корректно фиксировала нарушения, его нужно было обучить на большом массиве данных. Что мы и сделали, собрав видеозаписи с уже зарегистрированными нарушениями на экзаменах за 2018-2019 годы. 

Процесс обучения состоял из нескольких этапов. На первом видеозаписи прогонялись через алгоритм детектирования людей с использованием нейросети Yolo. В результате получалось видео с маркированными участками, где люди находились в течение долгого времени. Это было нужно, чтобы отсечь преподавателей, которые ходят по коридорам, и т.д. Каждому региону с человеком присваивался идентификатор, и обработанное видео с отмеченными регионами и идентификаторами сохранялось. 

Затем это видео просматривал человек, который отмечал как можно более точно моменты начала и конца нарушения (если оно, конечно, было), а также идентификаторы «нарушителей». Также сохранялись моменты отсутствия нарушений как примеры нормального поведения, которые тоже нужны для обучения алгоритма. Так мы выявили еще и типичные нарушения — использование шпаргалок и телефонов, фотографирование материалов. 

Нам очень помогла открытая библиотека OpenPose, которая используется для определения положения людей в кадре, их поз и координат ключевых точек, относящихся к разным частям тела.

В процессе обучения у нас возник ряд сложностей с алгоритмической точки зрения. Во-первых, качество видео. Со многих камер картинка приходит в разрешении 320х240. И в таких случаях различимы только люди, которые находятся непосредственно близко к камере. А вот люди на задних партах превращаются в кучку пикселей, и анализировать поведение, особенно его мелкие нюансы, становится очень сложно.

Во-вторых, ракурс. Видеосъемка проходит с разных ракурсов: спереди, сзади и сбоку. Это усложняет обучение модели, а некоторые нарушения видны либо очень плохо, либо вовсе не видны. В-третьих, из-за отсутствия размеченных датасетов в публичном доступе, возникла необходимость вручную собирать и размечать данные для обучения алгоритма. И в-четвертых, нет четкой грани между нарушением, подозрительным поведением и нормальным поведением. Это осложняет ручную разметку видео и обучение алгоритма. 

Результаты и планы

Первая версия алгоритма была построена на использовании RandomForest — классификатора, обученного на результатах работы OpenPose. Но у нее был существенный недостаток: большая часть потенциально полезных данных просто выбрасывалась. Например, по ключевым точкам можно определить некоторые жесты и движения, но невозможно увидеть, что у человека в руке — ручка или шпаргалка. 

Сейчас проводятся исследования по улучшению качества работы алгоритма с использованием нейросетевых технологий Human Activity Recognition, архитектур SlowFast, I3D и C3D. Кроме того, мы работаем над увеличением точности алгоритма, его производительности и удобства эксплуатации. Мы уже расширили датасет и добавили данные за 2020 год — это поможет нам существенно увеличить точность алгоритма. 

Теперь перед нами стоит задача по ускорению работы алгоритма. О чем мы тоже, скорее всего, расскажем в следующих постах

«Ростелеком» подвел итоги работы системы видеонаблюдения на Едином государственном экзамене (ЕГЭ), который проходил в 85 субъектах Российской Федерации с 26 мая по 2 июля 2022 года. Свыше 132 тыс. камер, установленных компанией, обеспечили бесперебойную онлайн-трансляцию досрочного и основного периодов ЕГЭ, охват видеонаблюдением составил 98%.

«Ростелеком» подвел итоги работы системы видеонаблюдения на Едином государственном экзамене (ЕГЭ), который проходил в 85 субъектах Российской Федерации с 31 мая по 17 июля 2021 года. 109 859 камер, установленных компанией в аудиториях пунктов проведения экзаменов (ППЭ), обеспечили бесперебойную онлайн-трансляцию основного и дополнительного периодов ЕГЭ.

Для сдачи ЕГЭ в 2021 году были задействованы 56 641 аудитория в 5213 ППЭ и 1533 аудитории региональных центров обработки информации (РЦОИ), где проводятся прием, обработка и проверка экзаменационных работ. Экзамены также прошли в 75 ППЭ в зарубежных образовательных организациях на базе посольств, консульств, воинских частей в 56 странах по всему миру. Видеонаблюдением было охвачено 99% аудиторий. В самых отдаленных ППЭ, расположенных в труднодоступных местностях РФ, было установлено 156 офлайн-камер, видеозапись с которых сразу после окончания экзамена передавалась на портал видеонаблюдения www.smotriege.ru с помощью специального программного обеспечения. Всего благодаря системе видеонаблюдения «Ростелекома» было получено 2 807 703 часа трансляций.

Государственную аттестацию контролировали 15 841 общественный онлайн-наблюдатель: 4578 федеральных и 11 263 региональных. Второй год подряд следить за ходом экзаменов помогал также искусственный интеллект — специально разработанная технология анализа поведения с использованием нейросети. В 17 субъектах РФ решение «Ростелекома» в режиме реального времени выявляло подозрительную активность на экзаменах и передавало информацию о нарушениях на проверку наблюдателя, а после — на утверждение модератора. В онлайн-режиме искусственный интеллект одновременно «просматривал» видеопоток из 2921 аудитории, а в офлайн — архивные видео из 37 586 аудиторий, расположенных в том числе в зарубежных ППЭ. За весь период проведения ЕГЭ нейросеть выявила более 14 000 нарушений.

— Закончилась кампания по проведению ЕГЭ: все экзамены сданы, время подвести итоги. Оборудование, установленное сотрудниками «Ростелекома», отработало в штатном режиме, без сбоев: в соответствии с расписанием проведения ЕГЭ велась трансляция изображения на портале видеонаблюдения, наблюдатели внимательно следили за тем, чтобы участники не пользовались подсказками и запрещенными предметами. Второй год подряд существенную помощь в этой работе им оказывал искусственный интеллект. В 17 регионах России специально разработанная нашей компанией программа машинного зрения анализировала поведение участников ЕГЭ и следила за тем, чтобы они не списывали. Умная технология за прошедший год стала еще умнее. Полученные в прошлом году данные позволили выявлять нарушения с гораздо более высокой точностью. Если один наблюдатель способен следить максимум за четырьмя аудиториями одновременно, то возможности искусственного интеллекта ограничены только задействованными аппаратными средствами. В дальнейшем применение искусственного интеллекта во время экзаменов позволит полностью исключить человеческий фактор и оставить онлайн-наблюдателей только для верификации нарушений, выявленных нейросетью. Мы также рассчитываем, что в новом учебном году в рамках проведения ЕГЭ география работы нейросети расширится, — сказал вице-президент по работе с корпоративным и государственным сегментами «Ростелекома» Валерий Ермаков.

Консультационную поддержку пользователей портала видеонаблюдения обеспечивал центр обработки вызовов «Ростелеком Контакт-центр» в Челябинске. Для поддержки пользователей портала «Ростелеком» организовал бесплатную горячую линию в коде 8–800, на которую поступило 6764 обращения. Среднее время ожидания ответа оператора по телефону составило 13 секунд, разговора с оператором — 4 минуты 53 секунды. По электронной почте поступило 1240 обращений, на запросы операторы отвечали в течение восьми минут.

— Операторы находятся на связи круглосуточно и оперативно обрабатывают поступающие вопросы. Мы понимаем, насколько важна поддержка выпускникам и их родителям в такой ответственный период. Хорошо, что пандемия не нанесла ущерба образовательному процессу. Неизменным осталось и качество организации процесса сдачи ЕГЭ, в том числе силами сотрудников нашей компании, — сказала генеральный директор «Ростелеком Контакт-центр» Елена Дробот.

Система видеонаблюдения «Ростелекома» для ЕГЭ организована на базе защищенных оптических каналов связи. Все видеозаписи Единого государственного экзамена хранятся в центрах обработки данных «Ростелекома» в зависимости от требований региональных контрактов. Максимальный срок хранения — до 1 марта 2022 года.

«Ростелеком» подвел итоги работы системы видеонаблюдения на Едином государственном экзамене (ЕГЭ), который проходил в 85 субъектах Российской Федерации с 31 мая по 17 июля 2021 года. 109 859 камер, установленных компанией в аудиториях пунктов проведения экзаменов (ППЭ), обеспечили бесперебойную онлайн-трансляцию основного и дополнительного периодов ЕГЭ.

Для сдачи ЕГЭ в 2021 году были задействованы 56 641 аудитория в 5 213 ППЭ и 1 533 аудитории региональных центров обработки информации (РЦОИ), где проводятся прием, обработка и проверка экзаменационных работ. Экзамены также прошли в 75 ППЭ в зарубежных образовательных организациях на базе посольств, консульств, воинских частей в 56 странах по всему миру.

Видеонаблюдением было охвачено 99% аудиторий.

В самых отдаленных ППЭ, расположенных в труднодоступных местностях РФ, было установлено 156 офлайн-камер, видеозапись с которых сразу после окончания экзамена передавалась на портал видеонаблюдения www.smotriege.ru с помощью специального программного обеспечения. Всего благодаря системе видеонаблюдения «Ростелекома» было получено 2 807 703 часа трансляций.

Государственную аттестацию контролировали 15 841 общественный онлайн-наблюдатель: 4 578 федеральных и 11 263 региональных. Второй год подряд следить за ходом экзаменов помогал также искусственный интеллект — специально разработанная технология анализа поведения с использованием нейросети. В 17 субъектах РФ решение «Ростелекома» в режиме реального времени выявляло подозрительную активность на экзаменах и передавало информацию о нарушениях на проверку наблюдателя, а после — на утверждение модератора.

В онлайн-режиме искусственный интеллект одновременно «просматривал» видеопоток из 2 921 аудитории, а в офлайн — архивные видео из 37 586 аудиторий, расположенных в том числе в зарубежных ППЭ.

За весь период проведения ЕГЭ нейросеть выявила более 14 000 нарушений.

«Закончилась кампания по проведению ЕГЭ: все экзамены сданы, время подвести итоги. Оборудование, установленное сотрудниками “Ростелекома”, отработало в штатном режиме, без сбоев: в соответствии с расписанием проведения ЕГЭ велась трансляция изображения на портале видеонаблюдения, наблюдатели внимательно следили за тем, чтобы участники не пользовались подсказками и запрещенными предметами. Второй год подряд существенную помощь в этой работе им оказывал искусственный интеллект. В 17 регионах России специально разработанная нашей компанией программа машинного зрения анализировала поведение участников ЕГЭ и следила за тем, чтобы они не списывали. Умная технология за прошедший год стала еще умнее. Полученные в прошлом году данные позволили выявлять нарушения с гораздо более высокой точностью. Если один наблюдатель способен следить максимум за четырьмя аудиториями одновременно, то возможности искусственного интеллекта ограничены только задействованными аппаратными средствами.

В дальнейшем применение искусственного интеллекта во время экзаменов позволит полностью исключить человеческий фактор

и оставить онлайн-наблюдателей только для верификации нарушений, выявленных нейросетью.

Мы также рассчитываем, что в новом учебном году в рамках проведения ЕГЭ география работы нейросети расширится», — сказал вице-президент по работе с корпоративным и государственным сегментами «Ростелекома» Валерий Ермаков.

Консультационную поддержку пользователей портала видеонаблюдения обеспечивал центр обработки вызовов «Ростелеком Контакт-центр» в Челябинске. Для поддержки пользователей портала «Ростелеком» организовал бесплатную горячую линию в коде 8-800, на которую поступило 6 764 обращения. Среднее время ожидания ответа оператора по телефону составило 13 секунд, разговора с оператором — 4 минуты 53 секунды. По электронной почте поступило 1 240 обращений, на запросы операторы отвечали в течение восьми минут.

«Операторы находятся на связи круглосуточно и оперативно обрабатывают поступающие вопросы.

Мы понимаем, насколько важна поддержка выпускникам и их родителям в такой ответственный период. Хорошо, что пандемия не нанесла ущерба образовательному процессу. Неизменным осталось и качество организации процесса сдачи ЕГЭ, в том числе силами сотрудников нашей компании», — сказала генеральный директор «Ростелеком Контакт-центр» Елена Дробот.

Система видеонаблюдения «Ростелекома» для ЕГЭ организована на базе защищенных оптических каналов связи. Все видеозаписи Единого государственного экзамена хранятся в центрах обработки данных «Ростелекома» в зависимости от требований региональных контрактов. Максимальный срок хранения — до 1 марта 2022 года.

Итоги работы системы видеонаблюдения на Едином государственном экзамене (ЕГЭ) подвел «Ростелеком». ЕГЭ прошел с 26 мая по 2 июля 2022 года в 85 субъектах Российской Федерации. Бесперебойную онлайн-трансляцию досрочного и основного периодов ЕГЭ обеспечили свыше 132 тысяч камер, установленных компанией. Охват видеонаблюдением составил 98%.

В 2022 году было задействовано более 5 тысяч пунктов проведения экзаменов (ППЭ). Кроме того, на базе посольств, консульств и воинских частей в 59 странах были организованы 97 зарубежных ППЭ. Также ППЭ были организованы и в труднодоступных местностях РФ, где велась видеозапись, которая сразу после окончания экзамена передавалась с помощью специального программного обеспечения на портал «Смотри ЕГЭ». Общее время трансляции в период проведения экзаменов в 2022 году составило 19 дней. Всего система видеонаблюдения «Ростелекома» обеспечила 3 594 241 час трансляций.

Кроме более чем 16 тысяч общественных наблюдателей, государственную аттестацию контролировал также искусственный интеллект — специально разработанная технология анализа поведения с использованием нейросети. Решение «Ростелекома» в режиме реального времени выявляло подозрительную активность на экзаменах. В онлайн-режиме искусственный интеллект одновременно «просматривал» видеопоток из 200 аудиторий, а в офлайне — архивные видео из тысячи аудиторий в день. За весь период проведения ЕГЭ искусственный интеллект выявил 11 916 нарушений, 208 из них были подтверждены модераторами.

Во время проведения экзаменов центр кибербезопасности «Ростелекома» зафиксировал несколько DDoS-атак мощностью до 10 Мбит/с, однако они не повлияли на работоспособность портала.

— Важную роль в сдаче госэкзаменов сегодня играют умные технологии, — рассказал старший вице-президент по работе с корпоративным и государственным сегментами «Ростелекома» Валерий Ермаков. — Система видеонаблюдения “Ростелекома” за ЕГЭ в очередной раз показала высокие результаты. Без сбоев отработал сайт “Смотри ЕГЭ”, выдержав все DDoS-атаки. Каждый год искусственный интеллект, который изучает поведение участников ЕГЭ и следит, чтобы они не списывали и не использовали запрещенные предметы, становится умнее. В этом году мы видим значительное снижение ложных срабатываний. И несмотря на то, что некоторые выпускники, сдававшие экзамены, уже поступили в вузы, система продолжает проверять возможные нарушения. Ее работа продлится до 4 сентября, а уже с 5 сентября она начнет анализировать процесс сдачи экзаменов в дополнительный период. Расширяется и география работы нейронной сети: в этом году были охвачены 83 субъекта РФ против 32 в прошлом году,.

Сервисную поддержку портала «Смотри ЕГЭ» обеспечивал «Ростелеком Контакт-центр». Сотрудники компании также консультировали учителей, занятых в проверке работоспособности системы видеонаблюдения, пользователей портала, аккредитованных наблюдателей и аналитиков. На бесплатную горячую линию в коде 8 – 800 поступило 3 799 обращений и 1 659 писем на адрес электронной почты. Время ответа операторов на звонки составляло считанные секунды.

— Наша задача оказать максимально оперативную поддержку пользователям по организационным и техническим вопросам, чтобы все нюансы экзаменационного процесса были понятны и прозрачны, — отметил генеральный директор «Ростелеком Контакт-центра» Сергей Шишмарев. — В пиковую нагрузку на линии работало 40 операторов, которые прошли специальное обучение и были обеспечены доступом к каждой аудитории во всех населенных пунктах страны. Благодаря цифровым технологиям процесс сдачи экзаменов был объективным и гарантировал спокойную, комфортную рабочую обстановку.

Система видеонаблюдения «Ростелекома» готова к проведению ЕГЭ / фото: ПАО «Ростелеком»

«Ростелеком» провёл тестирование систем видеонаблюдения в российских и зарубежных пунктах проведения экзаменов (ППЭ). Единые государственные экзамены (ЕГЭ) пройдут во всех субъектах РФ, а также в 79 ППЭ в зарубежных образовательных организациях на базе посольств, консульств и воинских частей в 58-ми странах мира. Всего для видеонаблюдения за ЕГЭ-2021 будет задействовано свыше 134 тысяч камер, сообщает пресс-служба компании.

Система видеонаблюдения, организованная «Ростелекомом» на базе защищённых оптических каналов связи, полностью готова к проведению ЕГЭ и государственного выпускного экзамена, которые в этом году пройдут с 25 мая по 15 сентября. Камеры «Ростелекома» установлены в свыше 69 тыс. аудиторий ППЭ и 1,5 тыс. аудиторий региональных центров обработки информации (РЦОИ), где проводятся приём и обработка экзаменационных материалов, а также проверка работ экспертами предметных комиссий.

Все цифровые устройства обеспечивают необходимый угол обзора, поддерживают высокое разрешение видео и передают качественный звук.

Камеры, установленные в аудиториях, расположены таким образом, чтобы в обзор попадали участники ЕГЭ, место печати, сканирования и раскладки экзаменационных материалов. Причем в поле зрения цифровых устройств не попадают заполненные бланки регистрации и ответы. В тайне остаются и персональные данные участников ЕГЭ. Система видеонаблюдения «Ростелекома» обеспечивает максимальную объективность и делает процесс сдачи ЕГЭ прозрачным.

Видео из аудиторий в онлайн-режиме будет транслироваться на портал видеонаблюдения «Смотри ЕГЭ».

В аудиториях, расположенных в труднодоступных местностях РФ, будет вестись видеозапись, которая сразу после окончания экзамена с помощью специального программного обеспечения попадет на портал видеонаблюдения. Дополнительно, для повышения надёжности, запись также будет вестись на жёсткий диск или локальную карту памяти, установленные в каждой камере.

Контролировать аттестацию будут более 10 тыс. федеральных и региональных онлайн-наблюдателей. Второй год подряд выявлять нарушения в ходе проведения экзаменов также будет технология анализа поведения с использованием нейросети.

Федеральный контракт предполагает, что искусственный интеллект будет ежедневно анализировать онлайн-видеопоток из более 170 аудиторий, а в офлайн — архивные видео из более тысячи аудиторий.

При обнаружении подозрительной активности на экзамене нейросеть подаст сигнал, система автоматически сформирует «подозрение на нарушение» и запись с нужной минуты поступит на проверку к наблюдателю, а после — на утверждение к модератору. Такой многоступенчатый контроль позволяет снизить количество онлайн-наблюдателей и сделать процесс сдачи экзаменов еще более прозрачным.

«Наша компания с 2014 года обеспечивает видеонаблюдение при проведении ЕГЭ. При этом мы регулярно совершенствуем нашу систему, внедряем новые технологии, создаем комплексную внутришкольную инфраструктуру. В этом году в рамках создания единой цифровой образовательной среды и национальной программы “Цифровая экономика” мы начали проект по обеспечению школ беспроводным доступом в интернет, оснащению системами видеонаблюдения с функцией аналитики и хранением изображения, а также предоставлению ресурсов наших дата-центров. Также продолжаем обучать разработанную “Ростелекомом” систему машинного зрения. Зафиксированные в прошлом году нарушения, как подтвержденные, так и неподтвержденные, позволили значительно увеличить точность работы нейросети», — отметил вице-президент по работе с корпоративным и государственным сегментами «Ростелекома» Валерий Ермаков.

В дни проведения экзаменов специалисты «Ростелекома» будут круглосуточно следить за работой системы видеонаблюдения, осуществлять техническую поддержку портала онлайн-трансляций и его защиту от DDoS-атак.

Для полноценной поддержки пользователей портала организована бесплатная горячая линия в формате «8-800». В течение всего экзаменационного периода специалисты компании будут консультировать сотрудников Федерального центра тестирования и Федеральной службы по надзору в сфере образования и науки, представителей органов исполнительной власти, включая министров образования субъектов РФ, а также принимать заявки на устранение неисправностей в системе видеонаблюдения. Центр обработки вызовов готов принимать до 2 000 обращений в день. Время ожидания ответа оператора не превысит 30 секунд.