В 84% случаев ИИ верно оценил опасность дорожного сценария

28 минут назад

© Изображение сгенерировано ИИ

Разработчикам высокоавтоматизированных транспортных средств необходимо оценивать не абстрактную точность систем машинного обучения, а риск их ошибок в конкретной дорожной обстановке. К такому выводу пришли заведующий кафедрой системной инженерии РТУ МИРЭА Антон Королев и старший преподаватель кафедры Олег Кировский, представившие на научно-техническом совете НИИАС доклад «Проблемы оценки параметров безопасности высокоавтоматизированных транспортных средств».

Авторы сосредоточились на автомобилях второго и третьего уровней автоматизации. На этом этапе часть ключевых функций уже переходит от водителя к машине: система берет на себя продольное и поперечное управление, анализирует дорожную ситуацию и принимает решения в пределах заданной среды эксплуатации. Человеку при этом отводится роль перехвата управления в нештатной ситуации. Именно переход к третьему уровню, считают исследователи, требует более детального обоснования безопасности перед выпуском таких машин на дороги общего пользования.

Для оценки рисков специалисты опираются на стандарты ISO 26262 по функциональной безопасности и ISO 21448, известный как SOTIF, который описывает безопасность целевой функциональности. Последний нужен для случаев, когда неисправности в классическом смысле нет, однако система может принять небезопасное решение из-за особенностей дорожного сценария, ограничений сенсоров или недостатков алгоритма.

Риск считают по сценарию

В рамках анализа опасностей риск высокоавтоматизированного автомобиля определяется тремя параметрами: тяжестью возможных последствий, вероятностью и длительностью пребывания в опасной ситуации, а также возможностью водителя перехватить управление. Конечная цель такой работы — сформулировать высокоуровневые требования безопасности, по которым затем можно будет судить, допустим ли остаточный риск для конкретной машины.

Антон Королев отметил, что отрасль использует разные подходы: одни компании накапливают пробег реальных беспилотников, другие делают ставку на симуляторы. В РТУ МИРЭА решили автоматизировать одну из наиболее трудоемких процедур — оценку экспозиции, то есть частоты и продолжительности нахождения автомобиля в потенциально опасном сценарии.

Исследователи предложили описывать дорожную ситуацию по пяти слоям: геометрии дороги, характеристикам инфраструктуры, временным ограничениям, динамике движения и условиям окружающей среды. Такой подход позволяет учитывать не только маневр автомобиля, но и факторы, от которых зависит работа интеллектуальных систем: освещенность, погоду, плотность потока, состояние разметки и другие параметры среды.

Языковой модели отвели роль помощника

Для подготовки и структурирования сценариев авторы применили языковую модель. Она формирует текстовые описания, проверяет семантическую согласованность параметров и предлагает инженеру категории экспозиции, но не принимает окончательное решение. Границы ее работы задает специалист по функциональной безопасности: через системные инструкции он ограничивает допустимые рассуждения модели требованиями стандартов, правилами дорожного движения, сведениями о дорожных знаках и характеристиках транспортного потока.

«Инженер по функциональной безопасности ограничивает рассуждения языковой модели, вводя свои знания с помощью системных инструкций. Принимать решение она не принимает — это все равно остается на стороне эксперта, но значительно сокращает его трудозатраты»,— пояснил Антон Королев.

В ходе апробации методику сравнили с оценками специалистов по функциональной безопасности на выборке из 45 сценариев. В 84% случаев категория экспозиции, определенная программным комплексом, полностью совпала с экспертной. В 96–98% случаев расхождение не превышало одного уровня. По словам докладчиков, при типовых значениях двух других параметров риска такая разница не меняла итоговый уровень полноты безопасности.

Двенадцать процентов до аварии

Олег Кировский показал, почему для компонентов машинного обучения нельзя установить единое требование вроде «99% точности». Он представил модель работы системы автоматического экстренного торможения при появлении пешехода на дороге. В симуляторе варьировались скорость автомобиля, расстояние до пешехода и другие исходные условия, а система должна была распознать человека, рассчитать время до столкновения и выбрать торможение либо безопасный проезд.

В идеальной модели, где системе заранее известны точные координаты и скорость пешехода, столкновения можно избежать детерминированно. В реальном автомобиле датчики и алгоритмы распознавания имеют погрешность, а потому даже относительно небольшая ошибка способна изменить решение.

«Если измеренное время столкновения меняется с 1,6 до 1,4 секунды — всего на 12%,— решение меняется: мы не тормозим там, где нужно тормозить, и врезаемся в пешехода»,— рассказал Олег Кировский.

При этом ошибка на 30% в другом сценарии, когда пешеход находится далеко от автомобиля, может не создать угрозы. Поэтому оценивать алгоритм следует в связи с условиями его применения, а не только по среднему показателю качества, подчеркнул докладчик.

Требования ставят не только нейросети

В эксперименте специалисты сравнили несколько вариантов детекторов пешеходов и оценили, какие характеристики действительно влияют на безопасность. Существенными оказались скорость срабатывания системы — не более 100 мс — и точность распознавания. В то же время точность построения рамки вокруг пешехода в проверенном диапазоне влияла на итоговый риск слабее. Лишь два варианта симуляционных испытаний показали долю столкновений ниже, чем в модели обычного водителя, которую использовали в качестве ориентира.

На основе результатов исследователи сформулировали требования не только к ML-компоненту, который распознает человека на изображении, но и к данным для его обучения, аппаратной платформе и обычной системе торможения. В частности, при низкой уверенности алгоритма в распознавании пешехода автомобиль должен снижать скорость с меньшей интенсивностью, сохраняя возможность безопасно продолжить движение или остановиться.

«ML-компоненты — это тоже компоненты безопасности. Для их проектирования нужно учитывать эксплуатационные сценарии»,— отметил Олег Кировский.

Авторы считают, что обновление моделей машинного обучения должно сопровождаться постоянной валидацией как минимум в симуляторе. Такой цикл позволит обнаруживать опасные сценарии до выхода системы на дорогу. РТУ МИРЭА готово собирать реальные дорожные случаи, описывать их и проводить виртуальные кампании, чтобы на их основе формировать требования к компонентам машинного обучения для разработчиков автоматизированного транспорта. 

Читайте также: Самообучение ИИ на железной дороге предложили ограничить.