Отказоустойчивость IT-инфраструктуры: как защитить данные и восстановить сервисы после сбоя

Сбои в работе дата-центров и цифровых сервисов заставляют бизнес по-новому смотреть на устойчивость IT-инфраструктуры и оценивать риски, которые раньше могли казаться маловероятными. Насколько критична зависимость от конкретного провайдера? Что произойдёт с рабочими процессами, если серверная инфраструктура окажется недоступна? Как обеспечить сохранность данных и восстановить ключевые сервисы в случае серьёзного технического инцидента.

Для транспортных компаний эти вопросы имеют особое значение. Система мониторинга транспорта обеспечивает получение телематических данных, онлайн-контроль автопарка, оперативное реагирование на события и работу инструментов аналитики. Длительная недоступность платформы может осложнить выполнение этих задач.

Поэтому при выборе системы мониторинга важно оценивать не только её возможности в штатном режиме, но и то, как организованы резервирование, защита данных и восстановление после аварий. Рассмотрим эти механизмы на примере платформы SKAI.

Развитие инфраструктуры и подходов к аварийному восстановлению

В 2023 году SKAI стала партнёром ПАО «МТС». Одно из направлений сотрудничества — развитие нашей инфраструктуры и повышение её отказоустойчивости. Кроме того, мы стали регулярно совершенствовать процессы аварийного восстановления с применением подходов, принятых в телекоммуникационных и крупных технологических компаниях.

В частности, мы развиваем систему аварийного восстановления на основе заранее определённых сценариев и регламентов, предусмотренных планом Disaster Recovery Plan (DRP). Они позволяют организованно восстанавливать информационные системы и данные после серьёзных технических сбоев или повреждения инфраструктуры.

Отказоустойчивость IT-инфраструктуры: резервирование и распределённая архитектура

Наши информационные системы размещаются на нескольких специализированных площадках, в том числе в центрах обработки данных в Москве и Санкт-Петербурге, соответствующих требованиям Tier III. Такой уровень предусматривает резервирование инженерных систем и возможность проведения планового технического обслуживания без остановки работы ЦОДа.

Платформа SKAI построена на микросервисной архитектуре с использованием современных распределённых технологий. Критически важные прикладные сервисы работают в нескольких экземплярах, как правило, с двумя дополнительными репликами. Это позволяет сохранять работоспособность сервисов при отказе отдельных компонентов инфраструктуры и снижает вероятность прерывания работы платформы.

Размещение информационных систем на нескольких специализированных площадках, и резервирование критически важных компонентов и использование распределённой архитектуры помогают снизить зависимость платформы от отдельных элементов инфраструктуры.

При этом отказоустойчивость — это не только способность продолжать работу при отказе отдельных компонентов, но и готовность к более масштабным инцидентам, которые могут потребовать восстановления систем и данных.

Восстановление после критических сбоев: резервные копии и альтернативные площадки

В SKAI предусмотрены сценарии восстановления информационных систем при масштабных инфраструктурных сбоях, в том числе с использованием вычислительных мощностей на альтернативных площадках.

Для быстрого восстановления применяется резервное копирование ключевых доменных данных платформы. Мы последовательно расширяем систему резервного копирования, развиваем географически распределённое хранение резервных копий и совершенствуем защиту телеметрических данных и видеоархивов.

Параллельно развивается инфраструктура географического резервирования критически важных системных компонентов.
В случае масштабного инцидента восстановлением будут заниматься профильные технические команды SKAI. Для восстановления компонентов, за которые отвечает МТС, будут привлекаться специалисты компании.

Таким образом, восстановление рассматривается как отдельный технологический процесс: для него заранее разрабатываются сценарии, подготавливаются инструменты и распределяется ответственность.

Какие функции восстанавливаются в первую очередь?

Приоритет при восстановлении — скорейшее возвращение основных функций платформы. В первую очередь усилия будут направлены на восстановление приёма данных от бортового оборудования, онлайн-мониторинга, функций оперативного реагирования и диспетчеризации.

Следующим этапом станет восстановление остальных возможностей платформы, включая аналитические инструменты, обработку исторических данных и формирование отчётности.

Продолжительность восстановления зависит от характера и масштаба инцидента. Предусмотренная последовательность действий позволяет сосредоточить ресурсы прежде всего на сервисах, непосредственно влияющих на работу клиентов.

Такой подход позволяет при восстановлении сосредоточиться на функциях, наиболее важных для оперативного контроля транспорта и работы диспетчерских служб.

Чем отличаются отказоустойчивость, резервное копирование и аварийное восстановление

Отказоустойчивость систем мониторинга транспорта

Для транспортной компании доступность системы мониторинга влияет на повседневные процессы: получение данных о транспортных средствах, контроль их местоположения, диспетчеризацию и анализ событий.

При этом разные типы сбоев требуют разных механизмов защиты. Резервирование серверной инфраструктуры помогает снизить риск недоступности платформы из-за отказа отдельных компонентов. Резервное копирование необходимо для восстановления данных. Заранее определённые сценарии аварийного восстановления позволяют организовать последовательное возвращение сервисов к работе.

Отдельную роль играет бортовое оборудование. Большинство телематических терминалов оснащены энергонезависимой памятью и способны продолжать накопление данных даже при временной недоступности серверной инфраструктуры. После восстановления соединения накопленная информация передаётся на платформу.

В зависимости от модели оборудования и интенсивности эксплуатации срок автономного хранения телеметрии может составлять несколько недель. Видеокомплексы также могут обеспечивать длительное локальное хранение записей при наличии соответствующих накопителей. Возможности последующей передачи видеоархивов зависят от конкретного оборудования и его настроек.
Это дополнительный уровень устойчивости: даже если обмен информацией с платформой временно невозможен, бортовое оборудование может продолжать собирать данные и сохранять их для последующей передачи.

Отказоустойчивость — непрерывная работа над надёжностью

Мы продолжаем повышать отказоустойчивость платформы SKAI, совершенствовать механизмы резервного копирования и сценарии восстановления, чтобы минимизировать последствия возможных технических сбоев и обеспечить сохранность данных наших клиентов.

Надёжность системы мониторинга транспорта определяется не одним технологическим решением, а совокупностью механизмов: архитектурой платформы, резервированием инфраструктуры, защитой данных, готовностью к восстановлению и возможностями бортового оборудования. Именно их сочетание помогает сохранять работоспособность системы при сбоях и восстанавливать её после серьёзных инцидентов.