Facebook разрабатывает ИИ-систему для постоянного сбора, анализа и обработки видео с камер видеонаблюдения

Предполагается, что решение будет использоваться в роботах-помощниках по дому или в гарнитурах дополненной реальности. Проект Ego4D делится на два направления: сбор открытых видеоданных видеороликов и проведение ряда тестов, с которыми, по мнению разработчиков, ИИ-системы смогут справиться в будущем. Новый продукт IT-гигант разработает совместно с 13 университетами, сообщается в блоге бигтеха.

На данный момент собрано свыше 3 тысяч часов видеозаписей от первого лица (от строительных работ до общения с друзьями). Их накопили 855 пользователей по всему миру с помощью экшн-камер и очков дополненной реальности.

Задачи для тестирования ИИ делятся на следующие направления:

• эпизодическая память (что и когда произошло);
• прогнозирование (что нужно делать дальше);
• манипуляцию руками и предметами (как держать палочки для игры на барабанах);
• аудиовизуальный дневник (кто и когда что было сказано);
• социальное взаимодействие (кто с кем взаимодействует).