Дмитрий Окишев: «Мини-ЦОД под контролем — от выбора до защиты»

Независимый эксперт  Дмитрий Окишев в интервью журналу RUБЕЖ рассказал о нюансах применения и размещения мини-ЦОД. Эксперт раскрыл аспекты «первой линии противопожарной обороны» и о критерияхвыбора и размещениямини-ЦОДов.

Беседовала Ольга Парамонова

—Каковы ключевые преимущества и скрытые недостатки мини-ЦОД перед масштабными ЦОД с точки зрения обеспечения пожарной безопасности с учетом ограниченного пространства и тепловыделения?

Дмитрий Окишев: В первую очередь, необходимо определиться с размерами и определением мини-ЦОД. Участники рынка отмечают возросший спрос на комплектные решения на базе 1-2 (реже 3) телекоммуникационных шкафов. В этом случае, в зависимости от мощности и схемы резервирования под инженерную инфраструктуру отводится пространство в 0.5-1 шкафа. Эти системы прекрасно подходят на роль серверной небольшого предприятия/подразделения. Также они применимы в качестве этажного узла многоэтажных зданий. Подавляющее большинство таких кроссовых имеет емкость от 1 до 3 (реже 4) шкафов. Таблица 9 ГОСТ53246-2008 дает рекомендации по типовым размерам этажных кроссовых помещений (телекоммуникационных) в зависимости от площади обслуживаемой зоны/этажа и рекомендует располагать такие узлы для обслуживания площади 1000 м². Другим критерием размещения является цифра 250-300 обслуживаемых рабочих мест. При наличии большого количества мультимедиа оборудования и переговорных эти цифры могут корректироваться в сторону уменьшения. Комфортным для размещения кроссовой или мини-ЦОД является габарит 3 м в ширину и  2,2-3,4 метра в глубину в зависимости от количества шкафов: зоны обслуживания 1,2м спереди, 0,8-1м сзади и хотя бы с одной из боковых сторон (необходимость доступа с двух сторон уточняйте в инструкции завода-изготовителя).

К преимуществам таких решений относятся, в первую очередь, продуманный дизайн, заводское качество изготовления и комплексное тестирование на заводе. Высокая плотность инженерных систем имеет и обратную сторону: как правило, зонирование между IT-системами, системами охлаждения и электроснабжения весьма условно и, имея доступ к такому изделию,  располагаешь доступом к любой из инженерных подсистем. Также, с учетом ограниченного пространства, риск повреждения данных и IT оборудования несколько выше по сравнению в традиционными ЦОД в помещениях. Кроме того, с целью экономической привлекательности и клиенты, и производители часто экономят на резервировании системы охлаждения.

Частично, эту же аналогию можно провести и при сравнении контейнерных/модульных ЦОД с традиционными площадками внутри здания или группы помещений.

В общем случае, формула простая: чем больше пространства и меньше плотность мощности на квадратный метр, тем ниже в случае аварии скорость нагрева, риск перегрева, и как следствие ниже риск пожара при нештатной ситуации.

—Насколько прогнозируемо и гарантированно срабатывание системы пожарной безопасности в мини-ЦОД в условиях реального задымления или теплового удара (с учетом отсутствия круглосуточной охраны)?

Д. Окишев: Круглосуточная охрана никак не влияет на скорость срабатывания автоматики систем пожарной безопасности. Системы раннего обнаружения пожара (СРОП) прекрасно себя зарекомендовали на площадках и позволяют службам эксплуатации проводить превентивные проверки и сервисные процедуры на ранних стадиях неисправности. В сочетании с системами мониторинга это дает хороший комплексный эффект. Это первая и основная «линия обороны», а вот если не отработала защитная автоматика и мониторинг, то затем срабатывают системы пожарной автоматики и тушения, но необходимо понимать, что причину задымления и возгорания они не снимают, а лишь купируют факторы развития пожара и дают дополнительное время. Но отсутствие круглосуточного мониторинга и регулярного сервиса гарантируют вам аварийную ситуацию раньше или позже.

—  Какие системы пожаротушения наиболее востребованы в мини-ЦОД и почему? Какие из них совместимы с литий-ионными аккумуляторными системами (LI-ION UPS)?

Д.Окишев: В подавляющем большинстве случаев это газовые системы: хладоны, фторкетоны, Novеc1230. Просто, понятно, без грязи и риска повредить оборудование.  С литием газ также совместим, но, в случае с батареями, основную роль играют именно системы мониторинга элементов, пакетов, стеллажей и стоек. Задача не допустить перегрева и превентивно отключить. Многие из производителей дополнительно комплектуют свои батарейные шкафы комплектами газового тушения как внутри батарейного шкафа, так и внутри батарей непосредственно с цель охлаждения зоны для предотвращения запуска реакции самопроизвольного горения.

—  Какие конструктивные решения (зонирование, противопожарные перегородки, термоизолирующие экраны, автоматические клапаны) применяются в мини-ЦОД для локализации пожара внутри шкафа или модуля?

Дмитрий Окишев: Это зависит от варианта реализации мини-ЦОД и его системы охлаждения: полностью изолированные шкафы, частично изолированные коридоры или отдельные помещения. Применяются или системы тушения шкафа, помещения или их комбинация.

—Какие огнестойкие материалы используются при производстве корпусов, дверей, уплотнителей и кабельных вводов мини-ЦОД?

Дмитрий Окишев: Огнестойкие ЦОД сейфового типа в свое время предлагала на российском рынке компания Lampertz. Это очень дорого, очень тяжело, но с гарантированной защитой данных от пожара и от потопа.

С российскими или китайскими аналогами этих решений я не знаком. Как правило, на рынке реализуется стратегия защиты помещения для размещения мини-ЦОД. Нормами диктуется минимум в EI45 и EI60. Но, как правило, коллеги выбирают усиленные варианты ®EI90-120.

В очередной раз процитирую ГОСТ 53246-2008 (к сожалению, его обновленная редакция ГОСТ 53246-2025 непригодна к практическому применению):

«В зданиях с суммарной площадью зоны обслуживания до 500 м², на этажах с площадью зоны обслуживания до 100 м², а также в тех случаях, когда нет возможности отвести для телекоммуникационной отдельное помещение на этаже, роль телекоммуникационных могут выполнять небольшие шкафы (например, встроенные) и аппаратные кабинеты (напольные и настенные) при условии обеспечения их защиты от несанкционированного доступа, расположения в строго фиксированном месте и соблюдения соответствующих норм (например, электрических и санитарных).

Рекомендуется, чтобы аппаратные шкафы и кабинеты, используемые в качестве телекоммуникационных, соответствовали всем требованиям и рекомендациям, определенным для телекоммуникационных в настоящем разделе.»

—  По каким классам пожарной опасности (например, по К0–К3 согласно СП 486.1311500) классифицируются мини-ЦОД и чем разница обусловлена: составом оборудования, наличием LI-ION, типом охлаждения?

Д. Окишев: Если мы говорим про отдельные стойки с оборудованием, то это не совсем корректное утверждение, если это касается помещений, то СП 541.1325800.2024 прямо говорит:

8.1.1 Противопожарные требования к помещениям ЦОД, зданиям и сооружениям ЦОД следует предусматривать в соответствии с положениями[4].

Класс функциональной пожарной опасности принимают исходя из назначения и особенностей эксплуатации зданий (пожарных отсеков) и сооружений с учетом технологических процессов в соответствии с [4], для технологических зон – Ф5.1.

—По каким критериям  присваивается степень огнестойкости мини-ЦОД, если он размещается в обычном офисе без специального перекрытия?

Д.Окишев: Как я и указал выше, если мини-ЦОД не расположен  в отдельном выделенном помещении, а стойки с оборудованием расположены в офисном пространстве, то он никак отдельно не выделяется и является, по сути, офисным оборудованием. Мы имеем внутри источник бесперебойного питания, кондиционер, мониторинг, коммутаторы, компьютеры или серверы. Все это есть и в обычном офисе. На кухне опасностей больше.

— Насколько компактным может быть мини-ЦОД (от 6 до 42 юнитов и более) и для каких категорий помещений по взрывопожарной опасности (В1–В4, Д) он предназначен, а для каких категорически недопустим?

Д.Окишев: Компактные исполнения в 6-12-15 юнитов как правило применяются в уличном исполнении в системах безопасности и комплексных IT системах больших территориально распределенных объектов, таких как порты, аэропорты, заводы и т.д. В помещениях, как правило, применяются полноценные решения от 42 юнитов. Реже решения в 21 юнит в исполнении «в уровень стола» как тумба. Основная опасность для низких решений заключается в том, что на него поставят цветы и будут поливать. По этой же причине крайне нежелательно размещать мини-ЦОДы в помещениях с мокрыми процессами. Также я не стал бы размещать ЦОД в помещениях с требованиями по искро-взрывозащите.

—  Какие системы охлаждения используются в мини-ЦОД для предотвращения теплового разгона LI-ION аккумуляторов и как они влияют на распространение пламени?

Д.Окишев: За предотвращение теплового разгона отвечает в первую очередь система мониторинга с автоматикой отключения — рабочий температурный диапазон батарей с литием, как правило, гораздо больше свинцового варианта и легко укладывается в диапазон до +40 C°.

Как правило, охлаждение всего комплекса осуществляется фреоновыми системами, но возможны и другие варианты. Опять же: вы или покупаете заводское решение под ваши условия, или «изобретаете велосипед» по вашим параметрам и под ваши условия. Однако, полное жидкостное погружение я встречал только на выставках: экономическую эффективность таких систем так на практике и не продемонстрировали.

К тому же, мне неизвестны производители серверного оборудования, допускающие погружение серверов в масла и другие жидкости с сохранением гарантии. Кто примет на себя эти риски? А вот прямое жидкостное охлаждение через радиатор наоборот встречается на практике и приходит к потребителям из ниши суперкомпьютеров, где 100-200-300 квт мощности с одной стойки давно не новость. Но это другая история и задача.

—Какие требования к пожарной безопасности ЦОД можно назвать избыточными для мини-ЦОД в здании с низкой нагрузкой, а какие — критически недостающими (например, отсутствие газоанализатора на электролит)?

Дмитрий Окишев: Формально мини-ЦОД — это комплектное заводское изделие, стоящее по условиям  задачи в офисном помещении. Перечисленные вами требования на него не распространяются. Здесь я бы отталкивался не от требований норм, которые в наших реалиях могут отставать на десятилетия, а от поставленных задач, анализа рисков и ущерба в случае аварии или полной утраты.

А наши нормы про помещения, а не про оборудование. Напомню определение из СП 541.1325800.2024:

«1 Область применения

1.1 Настоящий свод правил распространяется на проектирование зданий и сооружений центров обработки данных, а также помещений центров обработки данных в составе зданий, проектируемых на основании действующих нормативных документов СП 56.13330, СП 118.13330, СП 160.1325800 (далее – здания иного назначения).»

—Что нужно учитывать при выборе мини-ЦОД?

Д.Окишев: Размещая или приобретая мини-ЦОД, ориентируйтесь на уровень шума и комфорт, принимайте во внимание возможность затопления, повреждения и вандализм. Осознайте ценность данных, которые вы размещаете в мини-ЦОД. Оцените их для себя. Примите меры для минимизации негативных последствий.

При выборе рассмотрите вопросы резервирования электропитания (N, 2N, 2(N+1)), времени автономии, системы контроля микроклимата и ее автономии, системы мониторинга и оповещения..

Напомню, что наши нормы обязывают нас обеспечивать системами пожаротушения помещения от 24 кв.м и больше. Так что тушение 1-3 стоек на площади 0,6-2,16 м² — это выбор исключительно заказчика с учетом ценности расположенной в ЦОД информации и ее сохранности.

—  Какие специфические риски и угрозы пожарной безопасности создают литий-ионные батареи в составе ИБП мини-ЦОД и как эти риски минимизировать в ограниченном объеме?

Д.Окишев: Некоторые из наших объектов, уже скоро как 10 лет, используют литиевые батареи. У операторов связи на базовых станциях эти элементы применяются с начала тысячелетия в тяжелых условиях.

Поэтому я бы не стал выделять отдельные риски именно по литиевым батареям: они дороже, они легче, они компактнее, они лучше работают на мощностях примерно от 100 квт.

А к основным рискам и угрозам пожарной безопасности я бы отнес закупки некачественного оборудования по критерию минимальной цены,  неквалифицированный монтаж, отсутствие ПНР и ПСИ (комплексные испытания), отсутствие регулярного сервиса.

—Как совместить требование быстрого доступа к серверам (легкосъемные панели) и необходимость обеспечения предельной огнестойкости корпуса мини-ЦОД — возможны ли компромиссные конструкции с «падающими» термобарьерами?

Д.Окишев:  «Можно… но зачем?»© Надежность системы в ее простоте. Не стоит усложнять систему без строгих к тому предпосылок.

—  Существуют ли какие-то неувязки с применением стандартов ЦОД (TIER-UPTIME, российские + ФСТЭК, ФСБ для ЦОДОВ) Если да, то в чем они и какие решения предлагаете?

Д. Окишев: Существует масса вариантов коллизий. Но лежат они не в плоскости того или иного, стандарта/регламента или рекомендации, а в плоскости Технического задания заказчика, где замешивают коктейли на несколько страниц комбинаций разных требований.