Код открытой платформы: как мы научили камеры видеонаблюдения понимать, что перед ними человек

В первой статье для «Колонки эксперта» Владимир Науменко рассказал о создании собственной камеры, чтобы преодолеть «стену закрытого железа». В продолжении для журнала RUБЕЖ он описывает обратную ситуацию: что делать, когда у пользователя уже есть парк устройств, но их «интеллекта» недостаточно? История сотрудничества с OpenIPC — это кейс о том, как можно «вдохнуть новую жизнь» в простое или устаревшее оборудование. Ключом стал отказ от попыток внедрить готовые, но «тяжелые» и закрытые AI-решения от вендоров. Вместо этого команда создала гибридный детектор, сочетающий алгоритмы компьютерного зрения со сверхлегкой нейросетью, способной работать в условиях жесткого дефицита ресурсов. Этот подход, построенный на глубоком понимании ограничений самого «железа», позволил превратить обычный датчик движения в точный аналитический инструмент, распознающий человека, и интегрировать его в открытую экосистему.

Если в первой своей статье «Код закрытых возможностей: как ограничения железа определяют будущее видеонаблюдения» «Колонки эксперта» я рассказывал о «стене закрытого железа» и о том, почему для создания целостного продукта пришлось взяться за собственную камеру, то сегодня речь пойдет об обратной ситуации. Что делать, когда у пользователя уже есть парк устройств, но их интеллекта недостаточно? История нашего сотрудничества с OpenIPC – это кейс о том, как можно «вдохнуть» новую жизнь в простое или старое железо, превратив обычный датчик движения в аналитический инструмент. И ключом стало глубокое погружение в ограничения самих устройств.

Начало: почему OpenIPC, и в чем был главный парадокс

Проект OpenIPC, которым руководит Игорь Залатов, давно привлекал наше внимание. Это открытая прошивка, которая дает независимость от вендоров и работает на огромном парке камер. Наша первоначальная задача казалась простой: написать приложение, которое подключает такую камеру к облаку Faceter.
Но мы быстро столкнулись с парадоксом. OpenIPC давал свободу, но базовый функционал, в частности детекция движения, был крайне примитивным. Он реагировал на все: листья, птиц, блики. Для пользователя это означало сотни ложных уведомлений, которые сводили на нет всю пользу от удаленного наблюдения. Мы использовали камеру как источник видео, но ее аналитические возможности оставались на примитивном уровне, не отвечая современным запросам.

Точка принятия решения: почему нельзя было просто взять готовую нейросеть

Долгое время мы вместе с разработчиками OpenIPC обсуждали возможность внедрения умных детекторов – для распознавания людей, машин. Но универсального решения, которое бы стабильно работало на слабом железе, не появлялось. 

Мы последовательно изучали возможность использования готовых AI SDK от ведущих китайских производителей процессоров. Попытка внедрения Ingenic заняла 3 месяца и не увенчалась успехом. Так же пытались внедрить Goke и Sigmastar. Реализация на каждом из этих чипсетов сталкивалась с системной проблемой: отсутствие полноценной документации, закрытость архитектур и практически нулевая техническая поддержка для нестандартных задач. Попытки адаптировать эти «черные ящики» под конкретные требования детекции затягивались на месяцы, не приводя к стабильному продакшен-результату.

Тогда стало очевидно: чтобы дать пользователям реальную аналитику, а не обычный видеопоток, нужно создавать свой детектор. Но не любой, а тот, который сможет работать в условиях жесткого дефицита: мало оперативной памяти, слабый процессор, разные чипы, минимум места в прошивке. Задача свелась к поиску оптимального баланса: создать практичный детектор, который приносил бы максимальную пользу, не выходя за рамки строго лимитированных  ресурсов. 

Архитектура компромисса: как Computer Vision помог нейросети

Главным вызовом были ресурсы. Полноценная нейросеть, обрабатывающая каждый кадр в высоком разрешении, на таких устройствах нежизнеспособна. Наше решение стало гибридом классических алгоритмов и машинного обучения.

Вместо анализа всех кадров видео мы использовали MJPEG — поток 5 кадров в секунду ограниченного разрешения. Таких параметров уверенно хватило для  нашего пайплайна. Декодинг такого потока практически не создает нагрузки на CPU камеры. Использование MJPEG потока дает универсальность, многие стримеры, в том числе Majestic в составе OpenIPC умеют отдавать поток в этом формате.

Но и этого было много. Поэтому наш пайплайн выглядит так:
Фильтр №1: Движение. Камера через OpenIPC фиксирует изменение в кадре.
Фильтр №2: Computer Vision. Алгоритмы выделяют не весь кадр, а только изменяющиеся области — те самые «прямоугольники» движения.
Фильтр №3: Нейросеть. Только эти области, уже значительно меньшего размера, отправляются в сверхлегкую модель на базе Apache TVM (используется архитектура Visual WakeWords). Ее задача — бинарный ответ: «человек» / «не человек».

Этот подход позволил уложиться в 70-80 мс на обработку и минимизировать потребление памяти. Мы сфокусировали модель на решении одной, но ключевой задачи — бинарной классификации «человек / не человек». Эта узкая специализация и позволяет системе работать стабильно даже на маломощных камерах.

Что получил пользователь: от уведомлений до экосистемы

На практике это радикально меняет отношение к системе. Резко снижается уровень ложных срабатываний, а «сигнал» передает контекстно важные оповещения, например «движение» превращается в «человек у забора». Это фиксируется в ленте событий, приходит в виде снапшота в приложение или в Telegram-бот.
Но, что важно для инженеров и энтузиастов, мы не замкнули решение внутри своего облака. Детектор доступен и как отдельная утилита для OpenIPC. Это дает возможность встраивать его в кастомные скрипты и системы, используя как строительный блок. По сути, мы добавили в экосистему открытого железа новый, недостающий модуль — легковесный и точный классификатор.

Взгляд вперед: данные как основа для точности

Текущая модель работает хорошо, но ее точность — это следствие обучения на общих датасетах. Следующий шаг — адаптация под реальные условия пользователей. Мы работаем над механизмом дообучения модели на анонимизированных данных с реальных камер. Это позволит системе лучше распознавать людей в специфичных ракурсах, при разном освещении и в нестандартных ситуациях.

Итог: умное наблюдение — это вопрос подхода, а не только бюджета

Данный проект демонстрирует важный отраслевой сдвиг: интеллектуальная аналитика перестала быть опцией только для нового и дорогого оборудования. Ключевая проблема многих массовых решений, особенно универсальных китайских прошивок в их «слепоте» к контексту. Они создаются для глобального рынка, но зачастую не учитывают специфику местных условий, что ведет к низкой точности и ложным срабатываниям.

Наш опыт интеграции с OpenIPC подтверждает иной принцип. Успех обеспечивается не  заменой «железа», а глубокой инженерной работой. Важно, что это результат кооперации отечественных специалистов: открытой экосистемы OpenIPC и облачной платформы Faceter. Мы благодарны сообществу OpenIPC за возможность такой интеграции.

Итог — это путь эволюции, а не революции. Глубокое понимание ограничений устройств и фокус на решении конкретных пользовательских задач позволяют создать интегрированный продукт. Такой подход открывает дорогу к созданию действительно умных, надежных и доступных систем видеонаблюдения, расширяя возможности уже существующего парка камер.