ЦОД как конструктор: от контейнера до кластера

Ключевая задача при проектировании ЦОД — создание отказоустойчивой инженерной инфраструктуры для эксплуатации дата-центра из доступных на российском рынке компонентов, обеспечивающих глубокую интеграцию на уровне протоколов. Необходимо правильно рассчитать энергопотребление, организовать электропитание, охлаждение и мониторинг, а также выстроить многоуровневую систему безопасности — без лишних затрат и с возможностью масштабирования под растущие потребности бизнеса.

Компоненты инженерной инфраструктуры ЦОД

Важную роль при проектировании дата-центров играют СКУД с биометрией и видеонаблюдение с детекцией аномалий. Пожарная защита должна включать аспирационные извещатели для раннего обнаружения задымления и газовое пожаротушение, сохраняющее ИТ‑оборудование. Обязательное условие — аппаратная разблокировка дверей при пожаре, работающая независимо от серверов и ПО. Все эти меры должны быть реализованы в рамках требований СП, ГОСТов. Уровень отказоустойчивости ЦОД должен быть подтвержден сертификацией по стандарту Tier. Соблюдение нормативных актов и приказов ФСТЭК делает ЦОД не только безопасным, но и юридически устойчивым к проверкам и аудитам.

Энергетическая база и расчет мощностей

Проектирование системы электропитания ЦОД начинается с определения полезной ИТ-нагрузки, которая диктует параметры всей цепочки инженерной инфраструктуры дата-центра: от сечения вводного кабеля до конфигурации главного распределительного щита (ГРЩ) и мощности источников бесперебойного питания (ИБП). При выборе связки «ИБП — дизель-генераторная установка» критически важна проверка на совместимость по пусковым токам и коэффициенту нелинейных искажений.

Системы бесперебойного питания ЦОД могут быть представлены серией TRIO от лидера в сегменте электротехнической инфраструктуры DKC. Это масштабируемые ИБП для требовательного потребителя, удовлетворяющие запросам по защите критической нагрузки с высокой плотностью размещения, ориентированные в первую очередь на ИТ-объекты. При необходимости система масштабируется от 25 кВт до 600 кВт в одной системной стойке и до 2,4 МВт — в параллельной системе из четырех системных стоек. Все возможные опции представлены в базовом комплекте поставки.

Также актуальна серия ELECTRA OM от ITK (бренд группы IEK). Главный плюс — бесшовная интеграция с системой диспетчеризации Masterscada и контроллерами ONI (тот же холдинг).

При прокладке электрических линий вдоль стен или внутри конструкций ЦОД необходима надежная защита проводника от механических повреждений. Для этой цели могут применяться полые изделия из различных материалов, но специальные кабельные лотки находятся вне конкуренции при организации этого вида работ. Из брендов можно смело рекомендовать DKC.

Также в ЦОД находят широкое применение шинопроводы. Магистральные —  для передачи больших мощностей до 1000 В на токи от 630 до 5000А от комплектной трансформаторной подстанции или дизель-генераторной установки до главного распределительного щита. Распределительные — для передачи средних мощностей на низком напряжении на токи от 160 до 800 А к серверным стойкам. Рекомендуемые бренды: DKC, Systeme Electric, IEK, PitON, СОЭМИ, «Терра-ток».

Конструктив и климатическая адаптация

Выбор системы охлаждения зависит от конкретного объекта: плотности расстановки активного оборудования, планировки помещения, внутренних и внешних климатических параметров.

Две принципиальные группы систем охлаждения для серверных и ЦОД: 

1. Системы с непосредственным охлаждением — шкафные прецизионные кондиционеры. Каждый кондиционер является независимым устройством с собственным встроенным компрессором и холодильным контуром.

Правильный шкаф — основа стабильности ЦОД. Он должен иметь достаточную несущую способность, грамотно организованное охлаждение и возможность интеграции с системами СКУД и холодного/теплого коридора.

Если главный критерий — максимальная функциональность, то следует отдать предпочтение шкафам серии RAM telecom от DKC. Если же необходимо качественное решение от известного производителя по разумной цене, то серия LINEA S от ITK станет рациональным выбором.

2. Системы на охлажденной воде (чиллер-фанкойл). Основной принцип работы — фрикулинг (свободное охлаждение). Это режим, при котором чиллер использует холодный уличный воздух для охлаждения воды без включения энергозатратных компрессоров. Тот случай, когда русская зима работает на вас. Среди брендов оборудования стоит выделить:

• «Рефкул» — пример импортозамещения, когда в России производят полноценные прецизионные кондиционеры (шкафные и внутрирядные) и чиллеры
• Terma — компактные и эффективные системы для работы в экстремальных условиях. 
• Kentatsu и Lessar — разумный выбор для объектов с ограниченным бюджетом или вспомогательных помещений.

Среда мониторинга и автоматизации

Автоматизация и системы мониторинга ЦОД — это связующий слой, который должен закладываться до начала монтажных работ для проектирования кабельных трасс под датчики.Основные задачи автоматизации и диспетчеризации  каждого ЦОД это:

• мониторинг и предиктивная аналитика потребления энергоресурсов, где основные затраты — на электроснабжение и охлаждение вычислительных мощностей. Хорошее решение — использовать аналитику для оценки возможностей оптимизации операционных затрат на основании текущих данных;
• обеспечение централизации разрозненных систем в рамках одного ПО, чтобы все системы внутри ЦОД были легко объединены в одно решение по управлению и мониторингу объекта. Особенно это актуально, когда ЦОД масштабируют.

Чтобы избежать проблем с сопряжением, все инженерные системы дата-центра должны поддерживать открытые протоколы, например Modbus TCP. В качестве верхнего уровня (DCIM / SCADA) оптимально использовать российское ПО — Masterscada, работающее в связке с контроллерами ONI. Это снимает риски блокировки лицензий и отсутствия техподдержки, решает проблему диспетчеризации при масштабировании от единичного ЦОД до кластера дата-центров.

Почему ONI + Masterscada? Встроенные интеграции, гибкость настройки конкретного решения, огромное количество системных интеграторов умеют работать с этим оборудованием и ПО, легкая масштабируемость от уровня единичного здания и до уровня кластера/ситуационного центра. 

Коммутаторы, маршрутизаторы, межсетевые экраны и контроллеры доставки приложений

В ЦОД активное сетевое оборудование выступает как полноценная инженерная система, от которой напрямую зависят надежность, производительность и отказоустойчивость всего объекта. 

На базе комплексных решений от компаний Eltex или «Вектор Технологии» можно успешно реализовать передачу и распределение трафика, защиту от кибератак, мониторинг сети и масштабирование под нагрузки при условии нужной скорости передачи данных. 

Оборудование этих производителей позволяет гибко наращивать мощности по мере роста потребностей, адаптируя сетевую инфраструктуру ЦОД к новым задачам без существенных изменений в конфигурации и длительных простоев. 

Аппаратная часть: серверы и системы хранения данных

Современные отечественные серверы и системы хранения данных формируют основу ИТ-инфраструктуры ЦОД и определяют параметры проектирования их инженерных систем. В России в этом сегменте особенно заметны линейки брендов DEPO, «Инферит», «Гравитон».

Аппаратная архитектура серверов поддерживает стандарты мониторинга IPMI 2.0 и Redfish, обеспечивая интеграцию с системой DCIM для отслеживания критических параметров в режиме реального времени и предиктивного управления подсистемами.

Серверные шасси с форм-фактором 1U/2U/4U позволяет добиться высокой плотности размещения в сочетании с эффективной циркуляцией воздуха.

В итоге инженерные системы ЦОД — от электропитания и охлаждения до безопасности и пожаротушения — выстраиваются как единая экосистема, адаптированная к характеристикам серверов.

Интегрированная безопасность

Финальный контур физической безопасности дата-центра включает системы пожарной сигнализации и пожаротушения, СКУД и видеонаблюдение. Важнейшим техническим требованием здесь является аппаратная разблокировка: при срабатывании пожарной сигнализации (например, на базе оборудования Rubezh и Rovalant) сигнал на разблокировку замков СКУД должен идти через независимое реле, минуя программный слой сервера. Это позволит, например, исключить ситуацию, когда зависший сервер или сбой ПО блокирует эвакуацию людей.

В сегменте СКУД стандартом стали системы Strazh (турникеты, контроллеры, стойки, считыватели, электромагнитные замки), Sigur (контроллеры, считыватели, ПО), Biosmart (биометрические СКУД, ПО, системы учета рабочего времени).

В видеонаблюдении — платформы Trassir, Dahuaи RVi, поддерживающие специализированную аналитику дыма. 

Для раннего обнаружения пожарной опасности рекомендуем использовать извещатели пожарные дымовые аспирационные (ИПДА) и линейный пожарный извещатель. 

Аспирационные пожарные извещатели подходят для раннего обнаружения признаков пожарной опасности в помещениях с большой концентрацией электронной техники. Обнаруживают очаг возгорания еще на стадии пиролиза, когда еще нет дыма. Могут располагаться как за подвесным потолком, так и под фальшполом, с забором воздуха через капиллярные трубки. Работают в составе систем пожарной сигнализации и пожаротушения в закрытых стационарных и подвижных объектах. Рекомендуемые серии: «Ионосенс», «Лазерсенс» от «ГК Пожтехника». 

Термокабель (например, от бренда Protectowire) прокладывается и передает сигнал на контроллер. Оптоволоконный кабель, находясь в кабельном лотке или за рядами стоек, срабатывает при перегреве в любой точке на всем своем протяжении, нечувствителен к пыли и сильным потокам воздуха от кондиционеров. 

После выявления возгорания в ЦОД применяется газовое пожаротушение, которое позволяет сберечь ценное ИТ-оборудование. Можно использовать следующие типы огнетушащих составов: Хладон 125, Хладон 227, Sineco 1230 (второе поколение FK-5-1-12). Такие газы не проводят ток и не вызывают коррозию электроники. Рекомендуем решения от «ГК Пожтехника» и «Фактор». 

Автономная система R-Line подойдет для мобильных ЦОД (МЦОД) и отдельных серверных шкафов. Вместо крупногабаритных баллонов с газом в отдельной комнате под потолок или даже внутрь стойки устанавливаются компактные модули. 

Охрана периметра

Для защиты ЦОД от внешних угроз, в том числе БПЛА, используются средства охраны периметра. Такие решения помогают объект от проникновений и диверсий.

Охрана периметра включает такие элементы, как забор, охранное освещение и даже сейсмочувствительные датчики, которые фиксируют изменение состояния грунта при попытке подкопа. 

Наибольший спектр комплектующих по реализации охраны периметра способны обеспечить такие производители, как ГК «ТвинПро» и «Юмирс».

Как взаимодействуют инженерные системы ЦОД?

Теперь, когда основные составляющие нашего оркестра собраны, попробуем разыграть с ним основные типовые сценарии, требующие четкой связности между отдельными системами: возгорание, протечка, несанкционированное проникновение.

Сценарий 1: возгорание в машзале

Обычно история начинается банально: кто-то из инженеров во время замены не до конца вставил разъем питания, и он начал плавиться и тлеть. В случае обнаружения пожара критически важна синхронность действий систем жизнеобеспечения и безопасности.

При возникновении возгорания пожарная сигнализация обработает извещение от датчика и передаст информацию на прибор управления. В случае подтверждения пожара запустится система пожаротушения.

Система автоматизации и диспетчеризации запротоколирует аварию, переведет инженерные системы в аварийный режим.

Одновременно с этим контроллеры Sigur через прямое аппаратное соединение с пожарной панелью разблокируют все двери на путях эвакуации, исключая зависимость от работоспособности сервера. Система учета рабочего времени мгновенно сформирует список сотрудников, находившихся в опасной зоне, для проверки их присутствия.

Сценарий 2: локальная протечка под фальшполом

Тут классика — либо дренаж у кондиционера забился, либо монтажники «временно» вывели трубку в ведро и забыли про него. Протечка в ЦОД часто остается незамеченной до момента короткого замыкания в силовых трассах. Датчики влажности, подключенные к контроллерам ONI, фиксируют появление жидкости и немедленно выводят тревогу на монитор диспетчера. Система диспетчеризации формирует уведомление об аварии и задание на устранение аварии в службу эксплуатации.

В этот же момент система видеонаблюдения Trassir или RVi в автоматическом режиме разворачивает ближайшую поворотную камеру на сектор срабатывания. Это позволяет инженеру визуально отличить конденсат от прорыва фреоновой магистрали или водопровода. 

Если протечка подтверждается, система автоматизации перекрывает запорную арматуру на поврежденном участке, предотвращая затопление машзала, при этом не отключая кондиционирование в других зонах, чтобы избежать перегрева серверов.

Сценарий 3: попытка несанкционированного доступа

В реальности это редко шпионы, чаще — когда один сотрудник решил провести коллегу или подрядчика без пропуска, потому что «я его знаю, он со мной». Защита физического периметра строится на многофакторной идентификации и событийном видеоконтроле. При попытке прохода по украденной карте или использовании метода «паровозика», когда за авторизованным сотрудником пытается проскочить посторонний, система распознавания лиц — например, Biosmart или модуль аналитики Rvi или TRASSIR — фиксирует несоответствие базе данных.

СКУД (Sigur, Strazh)отказывает в доступе, а камера фиксирует изображение. Система видеонаблюдения (RVi, Dahua) делает стоп-кадр нарушителя, который мгновенно отправляется в службу безопасности с камеры Rvi или Dahua.

Если злоумышленник пытается взломать дверь или вскрыть серверный шкаф, датчики открытия формируют сигнал тревоги, по которому в зоне инцидента включается освещение на полную мощность, а запись на серверах видеонаблюдения переходит в режим максимального качества и частоты кадров.

А что по мобильным ЦОД?

Модульные ЦОД (МЦОД) — растущий тренд. Их популярность объясняется быстрым сроком запуска и возможностью переместить дата-центр физически.

Рекомендуем обратить внимание на решение по МЦОД от «Датарк». Это готовые транспортабельные блоки с интегрированной инженерной и ИТ-инфраструктурой. 

Каждый модуль включает: 

• силовые щиты с резервированием питания (N+1 или 2N);
• системы охлаждения (прецизионные кондиционеры или фрикулинг);
• ИБП с аккумуляторными батареями;
• стойки с активным сетевым оборудованием;
• системы пожарной сигнализации и газового пожаротушения;
• средства мониторинга: датчики температуры, влажности, протечки и дыма.

Благодаря заводской готовности комплекс развертывается за несколько недель: достаточно установить модуль на площадке и подключить к коммуникациям. Такая мобильность и скорость ввода в эксплуатацию особенно важны для отраслей с высокой динамикой развития — телеком-операторов, нефтегазовых и горнодобывающих компаний, — где инфраструктура должна оперативно адаптироваться к меняющимся условиям.

Искусство легких поставок

Для того, чтобы по итогам строительства или модернизации ЦОД инженерный «оркестр» действительно заиграл, все компоненты должны быть в наличии одновременно. Главная проблема системного интегратора сегодня — не отсутствие брендов как таковых, а риск собрать «зоопарк» из оборудования разных партий с разным временем поставки и сомнительным происхождением.

Здесь ключевую роль играет ЭТМ как комплексный поставщик. В текущих реалиях это работает так:

1. Без параллельного импорта и контрафакта. Когда вы закупаете все — от ИБП DKC и ITK до прецизионных кондиционеров «Рефкул» и контроллеров ONI — через одного крупного дистрибьютора, вы получаете оборудование с официальной гарантией и прозрачной историей. Это снимает головную боль с техподдержкой и будущим обслуживанием.
2. Стыковка систем «на берегу». ЭТМ поставляет компоненты из нашего списка (СКУД Sigur, датчики Protectowire и пожаротушение «Огнеза») как единый комплект. Это гарантирует, что протоколы совпадут, контроллеры увидят датчики, включая СКУД, пожарную сигнализацию и систему пожаротушения) как единый комплект. Интеграция будет штатной, контроллеры СКУД корректно примут сигналы от пожарной системы.
3. Логистика и сроки. Главный враг маржинальности проекта — когда серверные шкафы уже приехали, а кабельные лотки или пожарные модули застряли на границе. Комплексная поставка позволяет синхронизировать отгрузку так, чтобы проект не встал из-за одной отсутствующей позиции.
4. Честная цена за объем. Вместо того, чтобы выбивать скидки у десяти разных вендоров, интегратор получает спеццены на весь спецификационный лист. Это позволяет вписаться в урезанные бюджеты без перехода на контрафакт и ноунейм.

В итоге, роль ЭТМ — это роль надежного тыла в обеспечении оборудования для инженерной инфраструктуры ЦОД. Пока вы проектируете сложные сценарии взаимодействия и защиты от дронов и блокировок, поставщик берет на себя всю рутинную работу: проверку оборудования, соблюдение сроков и гарантию того, что на объект приедет именно то, что заложено в проекте.