Сторонние ИИ-сервисы в ритейле: как не передать алгоритму право на ошибку

Share to Telegram Share to VK
clock 9 минут назад
Сторонние ИИ-сервисы в ритейле: как не передать алгоритму право на ошибку © Изображение сгенерировано нейросетью

ИИ помогает торговым сетям прогнозировать спрос, управлять запасами и готовить заказы поставщикам. Но если рекомендации внешнего сервиса автоматически превращаются в действия в ERP или WMS, ошибка в данных или настройках способна привести к дефициту, избыточным закупкам и финансовым потерям. Эксперты рассказали, какие полномочия нельзя передавать ИИ без контроля человека.

ИИ в ритейле уже используется не только в клиентских чат-ботах. Алгоритмы участвуют в прогнозировании спроса, формировании заказов, распределении запасов, ценообразовании и логистике. Критичность таких решений зависит не от названия технологии, а от того, какие операции она может запустить в бизнес-процессах.

«Главный риск внешних ИИ-сервисов в ритейле не в том, что они ошибаются, — ошибаются и люди. Риск в том, что ошибка машины масштабируется мгновенно и незаметно. Неверный прогноз, автоматически превращенный в заказы по всей сети, — это уже не сбой функции, а замороженные оборотные средства, пустые полки и списания», — говорит Виталий Кучковский, ассистент кафедры информационной безопасности Финансового университета при Правительстве РФ.

Ошибка в прогнозе становится проблемой после исполнения

Сам по себе прогноз не меняет ситуацию в магазине. Последствия возникают, когда на его основе формируется заказ, меняются цены или перераспределяются остатки.

Алексей Оносов, экс-ИТ-директор магазина «Золотое Яблоко» и основатель компании «Юнисофт», приводит пример, когда проблема может возникнуть из-за ошибки в единицах измерения. Если количество товара в выгрузке указано в коробках, а система интерпретирует его как штуки, заказ способен вырасти в десятки раз. Выявить это могут уже после выставления счета поставщиком — особенно если сформированный заказ никто не проверил и не сохранил историю принятия решения.

«Создавать заказ на основе прогноза может только человек и если он в разы больше привычного, то вылазит алерт и он ждёт, пока его подтвердят», — отмечает Оносов.

Аслан Осканов, эксперт по созданию ИИ-сервисов и корпоративных решений компании «ФерманИИ», обращает внимание на другую проблему: модель может неверно объяснить падение продаж. Если система не учитывает, что товара не было на полке, она способна принять это за снижение спроса и предложить сократить закупку.

«Если система не видит, что полки пустые, то решает, что спрос снизился, и предлагает заказать еще меньше. Хотя покупатели просто не могли купить товар, которого не было», — поясняет Осканов.

Поэтому даже рекомендательным системам необходимы качественные исходные данные и проверка бизнес-контекста.

ИИ — аналитик, а не самостоятельный распорядитель

Эксперты рекомендуют разделять доступы внешнего ИИ-сервиса: просмотр данных, выгрузка информации, подготовка рекомендации, создание черновика и исполнение операции. Для прогноза спроса обычно достаточно чтения данных и формирования предложения. Постоянный широкий доступ к ERP, WMS и системе закупок для этого не требуется.

«ИИ может посмотреть остатки, но не стоит давать ему права на выгрузку всей базы, изменение заказа, отправку его поставщику. Менять платёжные реквизиты и права доступа ИИ самостоятельно тоже не должен. Все эти изменения обязательно обязан проверить и подтвердить ответственный сотрудник», — считает Осканов.

Ограничения целесообразно устанавливать по сумме, отклонению от обычных показателей и масштабу изменений. Нетипичные или крупные заказы, изменение цен, условий поставки и реквизитов контрагентов должны направляться на подтверждение сотруднику. Это снижает риск избыточных полномочий, когда сервис получает больше прав, чем нужно для его задачи.

Проблема избыточных полномочий актуальна не только для ритейла: ранее RUБЕЖ писал, что ИИ-агенты с доступом к корпоративным системам могут выполнять действия от имени сотрудника и обращаться к внутренним данным без повторного подтверждения человеком.

Какие данные не стоит выводить за внешний контур

Для большинства задач прогнозирования достаточно агрегированных данных о продажах, категориях, остатках и сроках поставки. Более чувствительные сведения — закупочные цены, условия договоров, маржинальность, реквизиты поставщиков, клиентская база и персональные данные — не следует передавать внешнему сервису без обоснованной необходимости.

«Внешнему сервису стоит передавать только те данные, которые действительно нужны для конкретной задачи. Например, для прогноза спроса передать только историю продаж по категориям, а не всю базу. Если хватает общих цифр, подробную базу выгружать незачем», — говорит Осканов.

Отдельного контроля требуют сервисные учетные записи, токены и интеграционные ключи: их компрометация может открыть доступ не только к данным, но и к разрешенным операциям.

Договор с поставщиком не заменяет внутренний контроль

Перед подключением внешнего ИИ-решения ритейлеру необходимо определить, какие данные передаются, где они хранятся и обрабатываются, кто получает к ним доступ и может ли поставщик использовать информацию для обучения моделей.

«Договор с поставщиком не отменяет требований закона о персональных данных и обязательств перед клиентами, работниками и контрагентами. Общее обещание сервиса соблюдать конфиденциальность не заменяет проверку конкретных условий обработки», — подчёркивает юрист Павел Бобрович.

В договоре стоит закрепить запрет на обучение моделей на данных заказчика без согласия, порядок привлечения субподрядчиков, сроки уведомления об инцидентах, требования к восстановлению сервиса и возврату данных при прекращении сотрудничества. Но эти условия должны дополняться внутренними мерами: разграничением прав, контролем интеграций, журналированием и подтверждением критичных операций.

Что проверить уже сейчас

Если ИИ-сервисы в сети уже используются, а единые правила ещё не сформированы, начать можно с пяти действий:

  1. Провести инвентаризацию ИИ-сервисов, интеграций, учётных записей и ключей доступа, включая решения, подключённые подразделениями самостоятельно.
  2. Определить, какие данные видит каждый сервис и какие операции он способен запускать.
  3. Отозвать необоснованные права на запись в ERP, WMS, системах закупок и управления ценами.
  4. Ввести лимиты и подтверждение для крупных или нетипичных заказов, изменений цен и условий поставки.
  5. Настроить журналирование: должно быть видно, на каких данных ИИ сформировал рекомендацию, кто её подтвердил и что изменилось в учётной системе.

ИИ может ускорять подготовку прогнозов и снимать с сотрудников часть рутины. Но решения, которые создают финансовые обязательства, меняют параметры поставок или влияют на наличие товара, должны оставаться под контролем компании и ответственного сотрудника.

Подробнее о рисках передачи данных во внешние ИИ-модели, разграничении полномочий агентов и сохранении ответственности за итоговые решения — в материале RUБЕЖ о том, как ИИ меняет модель киберугроз и защиту бизнеса.


Был ли вам полезен данный материал?


Транспортная отрасль вышла на новый нормативный маршрут. Сразу три документа — приказ Минтранса № 41, постановления Правительства РФ № 1915 и 2107 — внесли коррективы в дорожную карту по обеспечению безопасности объектов транспортной инфраструктуры. Однако обеспечительные мероприятия для запуска механизма новых требований выполнены не везде. Задача нового номера — подтолкнуть отрасль к пониманию, как выстраивать работу в условиях регуляторных пробуксовок при ограниченной нормативной видимости.


Подпишись на еженедельный дайджест самых интересных новостей по e-mail    
Yandex.Дзен

Подписывайтесь на канал ru-bezh.ru
в Яндекс.Дзен

Выделите опечатку и нажмите Ctrl + Enter, чтобы отправить сообщение.