VisionLabs запустила в Москве тестирование мультимодального поиска для городского хозяйства

Сегодня в 11:15

© Сгенерировано нейросетью

VisionLabs, входящая в МТС Web Services, разработала технологию мультимодального поиска на естественном языке, сообщили в пресс-службе компании. Технология развернута на платформе компьютерного зрения Luna Line и позволяет искать любые сценарии на фото и видео по текстовому описанию без программирования. Пилотные проекты уже стартовали с несколькими компаниями в Москве.

Как работает поиск

Новый инструмент построен на базе визуально-языковых моделей (VLM), которые понимают связь между изображением и текстом. Нейросеть анализирует все поступающие фотографии и кадры с камер, сохраняя их визуальные характеристики в виде цифровых отпечатков. Когда пользователь вводит запрос, например «разбитое стекло» или «переполненный мусорный бак», система преобразует текст в цифровой отпечаток, сравнивает его с базой и за доли секунды находит совпадения. В отличие от традиционных систем компьютерного зрения, которые работают по жестко заданным классам, мультимодальный поиск не требует ручной разметки для каждой задачи и находит даже те ситуации, которые не были заранее прописаны.

Какие сценарии тестируют в Москве

Сейчас VisionLabs отрабатывает сценарии, актуальные для жилищно-коммунального хозяйства и городской инфраструктуры. Среди них — контроль накопления мусора в баках и появления посторонних предметов во дворах и подъездах, оценка чистоты и освещенности в местах общего пользования, выявление сломанных лавок, разбитых стекол на остановках, затопленных или заснеженных участков дорог, а также кондиционеров на фасадах зданий. Система может работать как со снимками с телефонов, так и с видеопотоками с уличных камер и транспорта.

Платформа Luna Line ускоряет запуск на 30% быстрее

Технология реализована в составе платформы Luna Line, которая позволяет обучать модели искусственного интеллекта под отраслевые задачи без написания кода. По словам генерального директора VisionLabs Дмитрия Маркова, компания постоянно инвестирует в перспективные направления и только в прошлом году вложила в исследования и разработку 200 млн рублей. Один из результатов — создание платформы, которая ускоряет запуск ML-проектов на 30% и на столько же сокращает бюджет на их запуск и поддержку. Платформа может разворачиваться в корпоративном контуре заказчика — на собственной инфраструктуре или в частном облаке, централизуя ресурсы и упрощая масштабирование решений.

VisionLabs рассчитывает, что направление мультимодального поиска начнет приносить ощутимый доход: к 2027 году компания ожидает получить от него 5–10% от общей выручки.

Ранее «RUБЕЖ» сообщал об ии-решениях, которое VisionLabs запускает для анализа и генерации видео.