Безопасность промышленного ИИ: на ИННОПРОМ обсудили риски генеративных и агентных систем

1 час назад

© Сгенерировано ИИ

6 июля на международной промышленной выставке ИННОПРОМ прошла сессия «Доверять нельзя проверить: ставим запятую в безопасности промышленного ИИ». Партнером мероприятия выступила «Лаборатория Касперского».

Участники дискуссии обсудили, как российские промышленные компании уже используют искусственный интеллект, какие риски возникают при внедрении генеративных и агентных моделей и почему безопасность должна закладываться в ИИ-системы на уровне архитектуры.

Модератором сессии выступила Анна Кулашова, вице-президент по развитию бизнеса в России и странах СНГ «Лаборатории Касперского». В обсуждении приняли участие представители промышленности, телекома, облачной инфраструктуры и органов власти: Дмитрий Яков, ТМК; Дмитрий Коваль, «РМК-Диджитал»; Артем Мерзликин, Корпорация ВСМПО-АВИСМА; Алексей Забродин, РТК-ЦОД; Владимир Ласовский, «Билайн»; Владимир Дождев, Минпромторг России; Александр Шойтов, Минцифры России.

Участники отметили, что основные экономические эффекты в промышленности сегодня дают машинное обучение и компьютерное зрение. Эти технологии применяются для контроля качества, анализа сырья, дефектоскопии, оптимизации технологических процессов и предиктивных моделей.

При этом генеративный ИИ и агентные системы требуют более осторожного подхода. Для их использования необходимы ролевые модели доступа, фильтрация и маскирование данных, оркестрация моделей, контроль токенов, интеграция с SIEM-системами и тестирование в изолированных контурах.

Отдельное внимание было уделено рискам теневого использования ИИ. Эксперты отметили, что чрезмерные запреты могут привести к тому, что сотрудники начнут использовать внешние открытые сервисы без контроля компании. В качестве альтернативы обсуждались закрытые облачные среды, частные контуры и доверенные платформы для промышленного применения ИИ.

Представители регуляторов подчеркнули, что ИИ-системы должны рассматриваться как часть общей промышленной архитектуры. В такой архитектуре важны данные, модели, роли пользователей, аппаратная инфраструктура, регламенты, тестирование и возможность вмешательства человека в критических процессах.

Ключевым выводом дискуссии стало то, что дальнейшее развитие промышленного ИИ будет зависеть не только от качества моделей и вычислительной инфраструктуры, но и от уровня доверия к технологии. Встроенные механизмы безопасности, прозрачная архитектура, тестирование и сохранение роли человека в критических решениях становятся обязательными условиями для масштабирования ИИ на промышленных предприятиях.

Источник: сессия «Доверять нельзя проверить: ставим запятую в безопасности промышленного ИИ», Иннопром, 6 июля.

Читайте также: Изменения в ГОСТ Р 59638 упростили переход к электронным журналам эксплуатации систем пожарной сигнализации