20 августа 2024, 16:57
С помощью плагина nminfer можно проводить обработку видеопотока нейросетями на отечественном ускорителе вычислений NM Card производства НТЦ «Модуль», сообщает сайт компании «Криптонит».
Новая разработка позволит осуществлять детекцию лиц, регистрационных номеров транспортных средств с видеоизображений, проводить обработку видео на базе отечественных программных и аппаратных решений.
Nminfer - аналог Nvidia Deepstream, основанный на Gstreamer и реализующий нейросетевой вывод в составе конвейеров обработки данных. Он выполняет подготовку и конвертацию как нейросетевых моделей, так и самих потоковых данных в формат, поддерживаемый NM Сard.
Ускоритель NM Card изготавливается на основе российских микросхем К1879ВМ8Я. Они представляют собой процессор цифровой обработки сигналов, который содержит 16 ядер NeuroMatrixCore с тактовой частотой до 1024 МГц.
NM Card оснащается 5 ГБ VRAM. Он поддерживает программный комплекс (C++ API) Neuromatrix Deep Learning (NMDL), предназначенный для запуска заранее обученных глубоких сверточных нейросетей (Deep CNN). Такие нейросети широко применяются в системах компьютерного зрения и видеоаналитики, включая разработанную в «Криптоните» платформу «Чароит».
По производительности ближайший аналог NM Card — ускоритель Nvidia Jetson Nano. При запуске модели Yolo_v3_tiny_coco, предварительно обученной на наборе данных Common Objects для распознавания 80 типов объектов в реальном времени, ускоритель NM Card демонстрирует скорость обработки 24 кадров/с, в то время как у Nvidia Jetson Nano она составляет 25 кадров/с. Размерность ввода у обоих ускорителей в тесте была одинаковой: 416x416x3.
По мнению инженера-программиста «Криптонита» Антона Подлегаева, разработчика отечественного аналога плагина Nvidia, nminfer упростит разработки приложений нейросетевой обработки потоковых мультимедийных данных, а также обеспечит технологическую независимость.
Фото - freepik.com
Журнал RUБЕЖ
Пожарная безопасность
Транспортная безопасность
