Самообучение ИИ на железной дороге предложили ограничить

44 минуты назад

© Изображение сгенерировано ИИ

Интеллектуальные системы управления железнодорожным транспортом необходимо проектировать так, чтобы их самообучение не влияло на критические функции без контроля со стороны предсказуемых и доказуемых алгоритмов. Об этом на заседании научно-технического совета НИИАС рассказал Ефим Розенберг, представивший совместный с Игорем Шубинским доклад «Отказобезопасность интеллектуальных систем управления железнодорожным транспортом».

По мнению докладчика, при внедрении ИИ в железнодорожную автоматику нельзя рассматривать отдельно функциональную безопасность, киберзащищенность и надежность оборудования. Эти направления образуют единый контур: меры защиты не должны снижать доступность системы или создавать новые риски отказа, а оценка угроз должна учитывать не только возможность атаки, но и ее последствия для движения поездов.

«Иногда мы гонимся за доказательствами безопасности, а когда смотрим риск, риск нулевой»,— отметил Ефим Розенберг.

По его словам, при анализе уязвимостей необходимо сопоставлять сложные сценарии кибервоздействия с более простыми способами вмешательства в работу оборудования и выбирать защитные меры с учетом реального уровня угрозы.

Защита не должна мешать

В железнодорожных системах управления первостепенное значение имеют целостность и доступность данных, считает докладчик. Конфиденциальность информации для таких систем обычно менее критична, чем сохранение способности безопасно выполнять управляющие функции. При этом оборудование, используемое для киберзащиты, само должно отвечать требованиям функциональной безопасности — иначе дополнительный защитный контур может стать причиной отказа.

Для систем высокого уровня безопасности, сопоставимого с уровнем полноты безопасности SIL 4, недостаточно практических испытаний, пояснил Ефим Розенберг. Испытания позволяют подтвердить показатели лишь до определенного уровня, тогда как для более высоких требований необходимы теоретическое обоснование и математические методы.

Особое внимание требуется уделять воздействию электромагнитных помех. В нормативной базе они пока недостаточно полно отражены как источник системных отказов, отметил докладчик. Для интеллектуальных комплексов, использующих сложную математическую обработку и вычислительные элементы, такие воздействия могут быть особенно существенны.

Самообучение под контролем

Специфика интеллектуальных систем связана с нечеткой архитектурой, применением технического зрения, зависимостью от погодных условий и множеством потенциальных уязвимостей. Дополнительный риск создает способность нейросетей менять параметры в ходе обучения.

«Мы имеем систему, которая сама себя развивает, а вот границы этого развития необходимо жестко контролировать. И не только границы, но и направленность развития»,— заявил Ефим Розенберг.

В качестве принципа построения таких решений он предложил многоуровневую иерархическую структуру, которую назвал «матрёшкой». Каждый следующий уровень должен включать проверяемый и неизменяемый элемент предыдущего. Верхний контур целесообразно реализовывать на жесткой или контроллерной логике, соответствующей уже апробированным требованиям безопасности. Таким образом, самообучающиеся компоненты смогут использоваться внутри системы, но не будут единственным основанием для критических управляющих решений.

Двойник для проверки

Еще одним инструментом обеспечения отказобезопасности могут стать цифровые двойники. По словам Ефима Розенберга, доказанный цифровой двойник способен сравнивать входные, выходные и промежуточные состояния объекта управления с расчетными параметрами. Такая схема может позволить упростить аппаратуру непосредственно на объекте, сохранив контроль над работой одноканальных систем и диагностических элементов.

Для применения цифровых двойников необходимы математическая модель исходного объекта, ее программная реализация, результаты верификации, перечень потенциально опасных ситуаций и допустимое время нахождения системы в каждом из таких состояний. Отдельной задачей остается подготовка документации: как отметил докладчик, разработчики нередко уделяют больше внимания самому техническому решению, чем оформлению доказательств его безопасности.

Имитационное моделирование при этом не решает проблему полностью. Саморазвивающуюся систему сложно детально описать, а подтверждение адекватности модели и ее актуализация требуют значительных затрат. По оценке Ефима Розенберга, на собственно разработку может приходиться около 10% работы, а оставшаяся часть связана с подготовкой доказательной базы.

Математика вместо предположений

Для оценки опасных отказов докладчик предложил использовать отработанные математические методы, прежде всего марковские процессы и цепи. Они позволяют рассчитать среднее время до опасного отказа, оценить влияние погрешностей и определить, как изменение архитектуры системы воздействует на ее безопасность.

В частности, сочетание технического зрения с многоканальной иерархической структурой, по словам Ефима Розенберга, потенциально позволяет повысить уровень функциональной безопасности с УПБ-2 до УПБ-3. Ключевым параметром остается также время восстановления: если система переходит в промежуточное или опасное состояние, она должна вернуться к безопасной работе как можно быстрее.

При невозможности построить полную модель из-за большого числа состояний их следует укрупнять и группировать по зависимостям, считает докладчик. Для этого могут использоваться полумарковские модели, однако сам подход к функциональной безопасности должен оставаться прозрачным и проверяемым.

«Функциональная безопасность в первую очередь — это ясность подхода, ясность результатов и ясность метода доказательной базы»,— подчеркнул Ефим Розенберг.

По его оценке, развитие контролируемых нейронных сетей и объединение строгих, доказуемых элементов с интеллектуальными компонентами остается одним из наиболее перспективных направлений для железнодорожной автоматики. 

Читайте также: ГОСТ по безопасной разработке ИИ может появиться в начале следующего года.