Анализ стандартов для ЦОД: международные практики и российские реалии

Современные центры обработки данных проектируют и эксплуатируют, опираясь на сложную систему международных и национальных стандартов. Наряду с российскими нормативами в технические задания часто включают отсылки к документам TIA, BICSI, ASHRAE и ISO, а также требования соответствия уровням Tier. Несогласованность терминологии, разные критерии оценки надежности и энергоэффективности, необходимость учитывать обновления создают определенные сложности для проектировщиков и заказчиков.

TIA

TIA (Telecommunications Industry Association) — это ассоциация телекоммуникационной промышленности США, объединяющая специалистов по оборудованию связи, телекоммуникационному оборудованию, кабельным системам и компонентам. В 2005 году организация выпустила TIA-942 (Telecommunications Infrastructure Standard for Data Centers) — стандарт телекоммуникационной инфраструктуры для центров обработки данных (ЦОД). Это был первый серьезный и очень популярный документ в области создания ЦОД. Было несколько переизданий этого стандарта, и на данный момент, с мая 2024 года, действует редакция TIA-942-C, в которой разработчики учли текущее положение дел в отрасли ЦОД и появление искусственного интеллекта. Несмотря на то, что документ разработан для телекоммуникационной инфраструктуры, он описывает требования ко всем основным подсистемам инженерной инфраструктуры ЦОД и проводит классификацию ЦОД по уровням резервирования — от Rated-1 до Rated-4. Существует сертификация по уровням Rating TIA, ее проводят организации EPI и TUV.  EPI —  это международный орган по сертификации ЦОД  и специалистов отрасли. TUV — группа международных сертифицирующих экспертных организаций, осуществляющих контроль по обеспечению безопасности продукции.

На данный момент TIA ведет работу над еще одним интересным стандартом в области ЦОД в рамках инициативы Data Center Excellence (DCE 9000). Это будет первый стандарт системы управления качеством для современной физической инфраструктуры центров обработки данных. В рабочей группе участвуют компании Google, Oracle, Iron Mountain и Verizon Wireless, а также поставщики оборудования и услуг для центров обработки данных, включая ABB, Eaton, Ever Energy, Johnson Controls, Modine, MTU Solutions (Rolls-Royce), Schneider Electric, Trane, Network Connex, Technavious и TruNorthe. Разработка проекта стандарта запланирована в 2026 году, а публикация и запуск системы сертификации в 2027 году.

BICSI

Другой популярный стандарт в области ЦОД был создан организацией BICSI (Building Industry Consulting Service International) — международной консалтинговой службой строительной отрасли. Был выпущен BICSI 002 — Data Center Design and Implementation Best Practices. В этом руководстве приведены решения для электрики, охлаждения, архитектуры ЦОД, а приложениях описаны расчеты устойчивости и доступности. На данное время действует редакция 2024 года ANSI/BICSI 002-2024 — The Standard for Data Center Design. В стандарте BICSI также приведена своя классификация ЦОД от Class 0 до Class 4.

Другой стандарт BICSI, касающийся дата-центров, ANSI/BICSI 009-2024 Data Center Operations and Maintenance Best Practices содержит требования по эксплуатации и техническому обслуживанию ЦОД.

ASHRAE

В решении вопросов по охлаждению в ЦОД часто используют требования организации ASHRAE — American Society of Heating, Refrigerating and Air-Conditioning Engineers, Американского общества инженеров по отоплению, охлаждению и кондиционированию воздуха. Это одна из старейших организаций, которая занимается вопросами отопления и охлаждения воздуха, основанная в 1894 году. Общество развивает базу данных по климатическим параметрам, в том числе по температуре и влажности, многие годы собираемую по всему земному шару. База размещена на сайте организации в свободном доступе, ее достаточно часто используют для уточнения и дополнения данных, которые российские проектировщики получают из СП 131.13330 «Строительная климатология». 

Один из полезных документов по климату в ЦОД, разрабатываемый и регулярно обновляемый техническим комитетом 9.9 ASHRAE, — Thermal Guidelines for Data Processing Environments, 5th Ed (Рекомендации по тепловому режиму в средах с оборудованием для обработки данных, 5-ая редакция).  В издании к существующим классам ИТ-оборудования (от A1 до A4) добавлен класс высокопроизводительного ИТ-оборудования H1, для которого начинают действовать требования по ограничению температурного диапазона. Если для обычного ИТ-оборудования допустим температурный диапазон от 18 до 27 °C, то для оборудования класса H-1 рекомендован диапазон от 18 до 22 °C.

Tier

В России и в мире очень популярна классификация ЦОД по уровням Tier, от Tier I до Tier IV, разработанная американской консалтинговой компанией Uptime Institute, которая и проводит сертификацию ЦОД на заявленный уровень. На сайте организации есть описание требований к ЦОД для каждого уровня. Сертификация и выдача сертификата проводится только специалистами компании Uptime Institute и по-прежнему доступна в России для организаций, не находящихся под санкциями.    

ISO/IEC

Европейские национальные стандарты EN серии 50600 были разработаны Европейским комитетом по электротехнической стандартизации с учетом вышеперечисленных национальных американских стандартов.

На базе стандартов EN серии 50600, были разработаны международные стандарты ISO (International Organization for Standardization). Эти стандарты могут применять все члены ISO, в том числе и Российской Федерация.

Для ЦОД была создана серия стандартов ISO/IEC 22237. Их разработкой занимается подкомитет 39 (ISO/IEC JTC 1/SC 39). Стандарты разделены по темам на небольшие документы, которые периодически обновляют.

ISO/IEC 22237-1:2021 Information technology Data centre facilities and infrastructures Part 1: General concepts — «Информационные технологии. Объекты и инфраструктура центров обработки данных. Часть 1. Общие понятия». В стандарте описаны общие принципы работы центров обработки данных, на которых основаны требования серии стандартов ISO/IE C22237. Определена система классификации ЦОД, основанная на ключевых критериях доступности, безопасности и энергоэффективности на протяжении всего планируемого срока службы центра обработки данных. Рассмотрены вопросы анализа бизнес-рисков и определения операционных затрат, даны рекомендации по эксплуатации дата-центра.

ISO/IEC 22237-2:2024 Information technology Data centre facilities and infrastructures Part 2: Building construction — «Информационные технологии. Объекты и инфраструктура центров обработки данных Часть. 2. Строительство зданий». На данный момент к стандарту разрабатывают первую поправку ISO/IEC 22237-2:2024/CD Amd 1. В документе изложены требования и рекомендации по строительству зданий и сооружений, в которых расположены центры обработки данных, на основе критериев и классификации «физической безопасности». Приведены критерии выбора места и участка для размещения ЦОД, рассмотрены экологические риски, планировка участка и здания ЦОД, строительство здания, вопросы физической защиты, в том числе противопожарной защиты.

ISO/IEC 22237-3:2021 Information technology Data centre facilities and infrastructures Part 3: Power distribution — Информационные технологии. Оборудование и инфраструктура центров обработки данных. Часть 3. Распределение электроэнергии. В документы рассмотрены вопросы энергоснабжения центров обработки данных и распределения энергии внутри них на основе критериев и классификаций доступности, физической безопасности и энергоэффективности. Рассмотрено применение источников бесперебойного электропитания для ЦОД, описаны системы распределения электропитания, устройства для измерения энергопотребления и определения качества электроэнергии с интеграцией в систему мониторинга, молниезащита ЦОД.

ISO/IEC 22237-4:2021 Information technology Data centre facilities and infrastructures Part 4: Environmental control — «Информационные технологии. Объекты и инфраструктура центров обработки данных. Часть 4. Контроль окружающей среды». В стандарте рассмотрены вопросы контроля окружающей среды в центрах обработки данных на основе критериев и классификаций доступности, безопасности и энергоэффективности. Приведены рекомендации по контролю температуры, влажности, потока жидкости, содержания твердых частиц (запыления), вибрации и физической безопасности систем контроля окружающей среды.

ISO/IEC TS 22237-5:2018 Information technology Data centre facilities and infrastructures Part 5: Telecommunications cabling infrastructure — «Информационные технологии. Оборудование и инфраструктура центров обработки данных. Часть 5. Кабельная инфраструктура телекоммуникаций». В ближайшие месяцы ожидается замена стандарта на версию ISO/IEC DIS 22237-5. Стандарт описывает варианты реализации кабельной инфраструктуры в центрах обработки данных на основе критериев и классификаций доступности. Приведены требования к кабельной инфраструктуре для ИТ-оборудования — локальных вычислительных сетей (ЛВС) и сетей хранения данных SAN (Storage Area Network), требования к кабельной системе для системы мониторинга и управления ЦОД. Также приведены требования к кабельным проходкам, телекоммуникационным помещениям и конструктивам (шкафам).

ISO/IEC 22237-6:2024 Information technology Data centre facilities and infrastructures Part 6: Security systems — «Информационные технологии. Объекты и инфраструктура центров обработки данных. Часть 6. Системы безопасности». В документе изложены требования и рекомендации по обеспечению физической безопасности центров обработки данных на основе критериев и классификаций доступности, безопасности и энергоэффективности. Приведены требования и рекомендации в части защиты от несанкционированного доступа, вторжений, возгораний внутри ЦОД, протечек и прочих внутренних и внешних физических воздействий на оборудование и инженерные системы.

ISO/IEC TS 22237-7:2018 Information technology Data centre facilities and infrastructures. Part 7: Management and operational information — «Информационные технологии. Оборудование и инфраструктура центров обработки данных. Часть 7. Управление и эксплуатация ЦОД». Запланирована замена на версию ISO/IEC CD 22237-7.3. Стандарт описывает процессы управления и эксплуатации центров обработки данных. Основное внимание уделено операционным процессам, необходимым для обеспечения ожидаемого уровня отказоустойчивости, доступности, управления рисками, их минимизации, планирования мощностей, безопасности и энергоэффективности.

Стандарты ISO, BICSI и TIA нельзя получить в свободном доступе, только за плату и через интернет-магазин, где можно приобрести нормативы в электронном или бумажном виде.

Российские стандарты. ТК 120

На сайте Росстандарта опубликованы актуальные версии документов в открытом доступе. Над нормативной базой для ЦОД работают несколько технических комитетов. Профильный технический комитет №120 «Центры обработки данных» (ТК 120), ТК 022 «Информационные технологии» и ТК 465 «Строительство».

ТК 120 разработаны ряд нацстандартов в области ЦОД, которые действуют в настоящее время.

ГОСТ Р 58811-2020 «ЦОД. Инженерная инфраструктура. Стадии создания». Стандарт устанавливает стадии создания инженерной инфраструктуры центров обработки данных, а также этапы внутри стадий и содержание работ на каждом этапе. Начиная от предпроектного обследования площадки под будущий ЦОД и заканчивая этапом эксплуатации построенного объекта.

ГОСТ Р 58812-2020 «ЦОД. Инженерная инфраструктура. Операционная модель эксплуатации. Спецификация». Стандарт может помочь в формировании подхода к организации эксплуатации инженерной инфраструктуры центра обработки данных. Разработан с учетом методологии ITIL (IT Infrastructure Library) — библиотеку книг, описывающих лучшие практики в области инфраструктуры информационных технологий.

ГОСТ Р 70627-2023 «ЦОД. Инженерная инфраструктура. Документация. Техническая концепция. Требования к составу и содержанию». В стандарте, в соответствии с требованиями ГОСТ Р 58811 для стадии 3 «Техническая концепция», изложена техническая концепция инженерной инфраструктуры ЦОД. Техническая концепция представляет собой комплект документов, предназначенных для описания вариантов реализации инженерной инфраструктуры ЦОД и обоснования выбора варианта, удовлетворяющего требованиям заказчика. 

Разработанный ТК 120 ГОСТ Р 70139-2022 «ЦОД. Инженерная инфраструктура. Классификация» в результате бурных дискуссий в отрасли был приостановлен в 2024 году и впоследствии отменен. В стандарте была предпринята попытка сформировать российскую классификацию ЦОД.

Сейчас ТК 120 ведет работу по принятию нового стандарта ГОСТ Р «ЦОД. Инженерная инфраструктура. Термины и определения». Первая редакция стандарта прошла публичное обсуждение, и готовится вторая редакция стандарта с учетом полученных от участников отрасли замечаний и предложений.

Стандарты ТК 022

ТК 022 сфокусировался на разработке российских стандартов на базе соответствующих стандартов ISO/IEС (ИСО/МЭК). Действующие стандарты ЦОД ТК 022 описывают ключевые показатели работы ЦОД.

ГОСТ Р ИСОМЭК 30134-1-2018 (ISO/IEC 30134-1:2016) «Центры обработки данных. Ключевые показатели эффективности. Основные положения и общие требования».  Стандарт содержит общие сведения для всех частей серии стандартов ИСО/МЭК 30134 – структуру, определения, термины, сведения о применении ключевых показателей эффективности (КПЭ). 

ГОСТ Р ИСОМЭК 30134-2-2018 (ISO/IEC 30134-2:2016) «Центры обработки данных. Ключевые показатели эффективности. Коэффициент энергоэффективности (PUE)». Стандарт описывает коэффициент энергоэффективности (PUE), который используют в качестве КПЭ для оценки рациональности использования энергии в виде электроэнергии.

ГОСТ Р ИСОМЭК 30134-3-2018 (ISO/IEC 30134-3:2016) «Центры обработки данных. Ключевые показатели эффективности. Коэффициент возобновляемой энергии (REF)». В стандарте приведено определение коэффициента возобновляемой энергии (REF), описана методика вычисления и представления REF и доступны сведения, необходимые для правильной интерпретации REF.

Сейчас ТК 022 ведет работу по выпуску переведенного и адаптированного стандарта ISO/IEC 22237-1:2021. Стандарт ГОСТ Р «Информационные технологии. Объекты и инфраструктуры центров обработки данных. Часть 1. Общие положения». Первая редакция выложена на публичное обсуждение.

Стандарты ТК 465

ТК 465 «Строительство» выпустил свод правил СП 541.1325800.2024 «Здания и сооружения центров обработки данных. Правила проектирования». Документ утвержден Минстроем России 23 декабря 2024 года приказом №898, введен в действие с 24 января 2025 года.

СП 541.1325800.2024 разработан в целях обеспечения соблюдения требований Федерального закона от 30 декабря 2009 года № 384-ФЗ «Технический регламент о безопасности зданий и сооружений».

Положения СП распространяются на проектирование зданий и сооружений центров обработки данных, а также помещений центров обработки данных в составе зданий.

Ключевое понятие здесь — проектирование помещений, зданий и сооружений ЦОД, то есть архитектура и конструктив. При этом затронуты требования к созданию инженерных систем ЦОД. СП может быть использован как базовый документ при работе над ЦОД, так как включает порядка 70 ссылок на смежные российские нормы и стандарты, применимые к дата-центрам.

В СП приведены требования пожарной безопасности, опираясь на Федеральный закон от 22 июля 2008 года № 123-ФЗ «Технический регламент о требованиях пожарной безопасности». Детализирован ряд требований пожарной безопасности, в частности СП дает ответ на вопрос о том, отключать или нет систему кондиционирования при срабатывании системы автоматического газового пожаротушения: можно не отключать (предусматривать задержку отключения) постоянно работающие по технологическим условиям системы кондиционирования в помещениях, защищаемых установками газового пожаротушения при тушении объемным способом, если работа системы кондиционирования исключает добавление атмосферного воздуха в защищаемое помещение при циркуляции газовой среды.

Рассмотренные актуальные версии национальных, международных и российских стандартов могут служить отправной точкой и ориентиром при работе над проектом создания и дальнейшей эксплуатации ЦОД. Отрасль не стоит на месте, и появление новых технологий приводит к тому, что стандарты регулярно пересматривают и обновляют и при их использовании необходимо проверять наличие актуальных версий.