Функциональные характеристики программного обеспечения
База знаний — Функциональные характеристики программного обеспечения
Распределённая облачная платформа Visius предназначена для детектирования, трекинга и интеллектуального анализа объектов на видео.
Входной видеопоток подвергается предварительной обработке: производится буферизация данных и преобразование видеопотока в единый формат. Для стабилизации изображения и исключения влияния внешних факторов съёмки на качество детектирования и трекинга кадры видеопотока подвергаются цифровой стабилизации (Digital Video Stabilization).
Обновление информации об отслеживаемых объектах на видео производится с помощью последовательного применения методов детектирования и трекинга. При этом, модуль детектирования представляет собой нейронную сеть типа одноступенчатого детектора объектов (One-Stage Object Detector). Модуль трекинга совместно использует фильтр Калмана с коррекцией детекций и сдвиг по вектору скорости для предсказания движения, обновление положения объекта осуществляется с помощью результатов детектирования и результатов предсказания движения: сопоставление предыдущего положения объекта с его положением на текущем кадре путём решения задачи поиска максимального потока минимальной стоимости (Minimum Cost Maximum Flow).
При обработке очередного кадра видео платформа обновляет всю информацию об объектах, присутствующих на видеопотоке.
Для объектов класса человек (person) реализована возможность расчёта информации о поле (мужской, женский) и приблизительном возрасте, выраженном через числовые диапазоны или категории. Для получения данных пола и возраста используются результаты детектирования и графические характеристики объекта, полученные с помощью нейросетевых методов.
Для улучшения точности сопоставления положения объекта на предыдущем и текущем кадрах, а также уменьшения ошибок типа переключение идентификаторов объектов (id switch) трекер учитывает соотношение размеров ограничивающих прямоугольников объектов.
Уточнение траектории движения объекта осуществляется с использованием накопленной истории перемещения этого объекта на видео.
Подсчёт количества отслеживаемых объектов осуществляется посредством регистрации факта и направления пересечения линии (line of interest).
Платформа извлекает и сохраняет для каждого объекта графические характеристики, обеспечивающие возможность сформировать индивидуальный анонимный отпечаток объекта, позволяющий распознать его в будущем при повторном появлении на видео.
Индивидуальный отпечаток объекта хранится в виде хэш-значения (hash) без возможности восстановления с помощью него исходных графических характеристик, к нему не привязываются какие-либо персональные данные.
Характеристики объектов и история их перемещения сохраняются в базе данных. Платформа имеет возможность обрабатывать как видеофайлы, так и онлайн видеопотоки.
Платформа имеет возможность подсчёта статистики вида: количество объектов за определённый период времени, характеристики объектов (класс, пол, возраст, повторное посещение), направление движения объектов.
Платформа поддерживает работу со следующими входными данными:
Платформа обеспечивает возможность ввода пользователем следующих данных:
Платформа обеспечивает следующие выходные данные:
2. Отображение кадров видеопотока в реальном времени и информации об отслеживаемых объектах:
Входной видеопоток подвергается предварительной обработке: производится буферизация данных и преобразование видеопотока в единый формат. Для стабилизации изображения и исключения влияния внешних факторов съёмки на качество детектирования и трекинга кадры видеопотока подвергаются цифровой стабилизации (Digital Video Stabilization).
Обновление информации об отслеживаемых объектах на видео производится с помощью последовательного применения методов детектирования и трекинга. При этом, модуль детектирования представляет собой нейронную сеть типа одноступенчатого детектора объектов (One-Stage Object Detector). Модуль трекинга совместно использует фильтр Калмана с коррекцией детекций и сдвиг по вектору скорости для предсказания движения, обновление положения объекта осуществляется с помощью результатов детектирования и результатов предсказания движения: сопоставление предыдущего положения объекта с его положением на текущем кадре путём решения задачи поиска максимального потока минимальной стоимости (Minimum Cost Maximum Flow).
При обработке очередного кадра видео платформа обновляет всю информацию об объектах, присутствующих на видеопотоке.
Для объектов класса человек (person) реализована возможность расчёта информации о поле (мужской, женский) и приблизительном возрасте, выраженном через числовые диапазоны или категории. Для получения данных пола и возраста используются результаты детектирования и графические характеристики объекта, полученные с помощью нейросетевых методов.
Для улучшения точности сопоставления положения объекта на предыдущем и текущем кадрах, а также уменьшения ошибок типа переключение идентификаторов объектов (id switch) трекер учитывает соотношение размеров ограничивающих прямоугольников объектов.
Уточнение траектории движения объекта осуществляется с использованием накопленной истории перемещения этого объекта на видео.
Подсчёт количества отслеживаемых объектов осуществляется посредством регистрации факта и направления пересечения линии (line of interest).
Платформа извлекает и сохраняет для каждого объекта графические характеристики, обеспечивающие возможность сформировать индивидуальный анонимный отпечаток объекта, позволяющий распознать его в будущем при повторном появлении на видео.
Индивидуальный отпечаток объекта хранится в виде хэш-значения (hash) без возможности восстановления с помощью него исходных графических характеристик, к нему не привязываются какие-либо персональные данные.
Характеристики объектов и история их перемещения сохраняются в базе данных. Платформа имеет возможность обрабатывать как видеофайлы, так и онлайн видеопотоки.
Платформа имеет возможность подсчёта статистики вида: количество объектов за определённый период времени, характеристики объектов (класс, пол, возраст, повторное посещение), направление движения объектов.
Платформа поддерживает работу со следующими входными данными:
- Видеофайлы следующих форматов: .mov, .mp4.
- Онлайн видеопотоки, использующие следующие протоколы: HTTP, RTSP.
- Входное видео для платформы должно быть статическим: во время съёмки видео камера не должна изменять своего положения, допускается только тряска кадров без смещений и поворотов.
Платформа обеспечивает возможность ввода пользователем следующих данных:
- Загрузка видеофайлов и ввод URL-адреса онлайн видеопотока.
- Описание загружаемого видеофайла: дата и время съёмки видео.
Платформа обеспечивает следующие выходные данные:
- Отображение статистики за заданный промежуток времени:
- количество объектов,
- направления движения объектов,
- классы объектов,
- пол и возраст объектов (для определённых классов),
- информация о повторном посещении объектами зон мониторинга (для определённых классов).
2. Отображение кадров видеопотока в реальном времени и информации об отслеживаемых объектах:
- ограничивающие прямоугольники,
- классы,
- вероятность принадлежности к классу,
- пол и возраст (если применимо для класса),
- идентификатор,
- информация о повторном посещении (если применимо для класса).