Сторонние ИИ-сервисы в ритейле: как не передать алгоритму право на ошибку
© Изображение сгенерировано нейросетью
ИИ помогает торговым сетям прогнозировать спрос, управлять запасами и готовить заказы поставщикам. Но если рекомендации внешнего сервиса автоматически превращаются в действия в ERP или WMS, ошибка в данных или настройках способна привести к дефициту, избыточным закупкам и финансовым потерям. Эксперты рассказали, какие полномочия нельзя передавать ИИ без контроля человека.
ИИ в ритейле уже используется не только в клиентских чат-ботах. Алгоритмы участвуют в прогнозировании спроса, формировании заказов, распределении запасов, ценообразовании и логистике. Критичность таких решений зависит не от названия технологии, а от того, какие операции она может запустить в бизнес-процессах.
«Главный риск внешних ИИ-сервисов в ритейле не в том, что они ошибаются, — ошибаются и люди. Риск в том, что ошибка машины масштабируется мгновенно и незаметно. Неверный прогноз, автоматически превращенный в заказы по всей сети, — это уже не сбой функции, а замороженные оборотные средства, пустые полки и списания», — говорит Виталий Кучковский, ассистент кафедры информационной безопасности Финансового университета при Правительстве РФ.
Ошибка в прогнозе становится проблемой после исполнения
Сам по себе прогноз не меняет ситуацию в магазине. Последствия возникают, когда на его основе формируется заказ, меняются цены или перераспределяются остатки.
Алексей Оносов, экс-ИТ-директор магазина «Золотое Яблоко» и основатель компании «Юнисофт», приводит пример, когда проблема может возникнуть из-за ошибки в единицах измерения. Если количество товара в выгрузке указано в коробках, а система интерпретирует его как штуки, заказ способен вырасти в десятки раз. Выявить это могут уже после выставления счета поставщиком — особенно если сформированный заказ никто не проверил и не сохранил историю принятия решения.
«Создавать заказ на основе прогноза может только человек и если он в разы больше привычного, то вылазит алерт и он ждёт, пока его подтвердят», — отмечает Оносов.
Аслан Осканов, эксперт по созданию ИИ-сервисов и корпоративных решений компании «ФерманИИ», обращает внимание на другую проблему: модель может неверно объяснить падение продаж. Если система не учитывает, что товара не было на полке, она способна принять это за снижение спроса и предложить сократить закупку.
«Если система не видит, что полки пустые, то решает, что спрос снизился, и предлагает заказать еще меньше. Хотя покупатели просто не могли купить товар, которого не было», — поясняет Осканов.
Поэтому даже рекомендательным системам необходимы качественные исходные данные и проверка бизнес-контекста.
ИИ — аналитик, а не самостоятельный распорядитель
Эксперты рекомендуют разделять доступы внешнего ИИ-сервиса: просмотр данных, выгрузка информации, подготовка рекомендации, создание черновика и исполнение операции. Для прогноза спроса обычно достаточно чтения данных и формирования предложения. Постоянный широкий доступ к ERP, WMS и системе закупок для этого не требуется.
«ИИ может посмотреть остатки, но не стоит давать ему права на выгрузку всей базы, изменение заказа, отправку его поставщику. Менять платёжные реквизиты и права доступа ИИ самостоятельно тоже не должен. Все эти изменения обязательно обязан проверить и подтвердить ответственный сотрудник», — считает Осканов.
Ограничения целесообразно устанавливать по сумме, отклонению от обычных показателей и масштабу изменений. Нетипичные или крупные заказы, изменение цен, условий поставки и реквизитов контрагентов должны направляться на подтверждение сотруднику. Это снижает риск избыточных полномочий, когда сервис получает больше прав, чем нужно для его задачи.
Проблема избыточных полномочий актуальна не только для ритейла: ранее RUБЕЖ писал, что ИИ-агенты с доступом к корпоративным системам могут выполнять действия от имени сотрудника и обращаться к внутренним данным без повторного подтверждения человеком.
Какие данные не стоит выводить за внешний контур
Для большинства задач прогнозирования достаточно агрегированных данных о продажах, категориях, остатках и сроках поставки. Более чувствительные сведения — закупочные цены, условия договоров, маржинальность, реквизиты поставщиков, клиентская база и персональные данные — не следует передавать внешнему сервису без обоснованной необходимости.
«Внешнему сервису стоит передавать только те данные, которые действительно нужны для конкретной задачи. Например, для прогноза спроса передать только историю продаж по категориям, а не всю базу. Если хватает общих цифр, подробную базу выгружать незачем», — говорит Осканов.
Отдельного контроля требуют сервисные учетные записи, токены и интеграционные ключи: их компрометация может открыть доступ не только к данным, но и к разрешенным операциям.
Договор с поставщиком не заменяет внутренний контроль
Перед подключением внешнего ИИ-решения ритейлеру необходимо определить, какие данные передаются, где они хранятся и обрабатываются, кто получает к ним доступ и может ли поставщик использовать информацию для обучения моделей.
«Договор с поставщиком не отменяет требований закона о персональных данных и обязательств перед клиентами, работниками и контрагентами. Общее обещание сервиса соблюдать конфиденциальность не заменяет проверку конкретных условий обработки», — подчёркивает юрист Павел Бобрович.
В договоре стоит закрепить запрет на обучение моделей на данных заказчика без согласия, порядок привлечения субподрядчиков, сроки уведомления об инцидентах, требования к восстановлению сервиса и возврату данных при прекращении сотрудничества. Но эти условия должны дополняться внутренними мерами: разграничением прав, контролем интеграций, журналированием и подтверждением критичных операций.
Что проверить уже сейчас
Если ИИ-сервисы в сети уже используются, а единые правила ещё не сформированы, начать можно с пяти действий:
- Провести инвентаризацию ИИ-сервисов, интеграций, учётных записей и ключей доступа, включая решения, подключённые подразделениями самостоятельно.
- Определить, какие данные видит каждый сервис и какие операции он способен запускать.
- Отозвать необоснованные права на запись в ERP, WMS, системах закупок и управления ценами.
- Ввести лимиты и подтверждение для крупных или нетипичных заказов, изменений цен и условий поставки.
- Настроить журналирование: должно быть видно, на каких данных ИИ сформировал рекомендацию, кто её подтвердил и что изменилось в учётной системе.
ИИ может ускорять подготовку прогнозов и снимать с сотрудников часть рутины. Но решения, которые создают финансовые обязательства, меняют параметры поставок или влияют на наличие товара, должны оставаться под контролем компании и ответственного сотрудника.
Подробнее о рисках передачи данных во внешние ИИ-модели, разграничении полномочий агентов и сохранении ответственности за итоговые решения — в материале RUБЕЖ о том, как ИИ меняет модель киберугроз и защиту бизнеса.
Благодарим за оставленный Вами отзыв! Мы стараемся становиться лучше!
На TECHWEEK обсудили, как ИИ меняет модель киберугроз и защиту бизнеса
Павел Люлин: «Торговый центр может быть класса С по качеству здания, но класса С по безопасности быть не должно»
Дмитрий Дорофеев: «Защита должна не просто существовать, а быть дешевле ущерба»
В Москве пройдет бизнес-форум «Революция в продажах»
Как защитить склад от пожара и избежать лишних затрат: эксперты обсудят новые нормы и практические решения 25 ноября в Москве
DDoS-атаки на ритейл во время распродаж выросли в 2,5 раза
Транспортная отрасль вышла на новый нормативный маршрут. Сразу три документа — приказ Минтранса № 41, постановления Правительства РФ № 1915 и 2107 — внесли коррективы в дорожную карту по обеспечению безопасности объектов транспортной инфраструктуры. Однако обеспечительные мероприятия для запуска механизма новых требований выполнены не везде. Задача нового номера — подтолкнуть отрасль к пониманию, как выстраивать работу в условиях регуляторных пробуксовок при ограниченной нормативной видимости.
