Эксплуатация ЦОД. Практическое руководство

Например: в одном из крупных ЦОД были установлены слишком широкие параметры ИБП по допустимому диапазону частоты (50 ± 4 Гц). Это не было отслежено на этапе ПНР, и в итоге при частоте ниже 47 Гц у клиентов стало перезапускаться оборудование при сохранении электропитания в стойке. Сложность выявления этой проблемы заключалась в том, что не все оборудование реагировало на изменения частоты, что не позволяло однозначно идентифицировать проблему на стороне инженерной инфраструктуры ЦОД.

В зависимости от коммерческих условий процент непрерывности подачи электроэнергии может быть разным. Также могут существовать дополнительные условия, по которым предусмотрена ответственность за работу только одного ввода питания или обоих (если вводов питания два).

Тем не менее есть важные моменты, которые службе эксплуатации следует учитывать в любом случае: даже если вы имеете договорные отношения с клиентом о том, что вы обеспечиваете непрерывность только одного ввода из двух (а это стандартное условие для большинства ЦОД), то в случае неверно организованных клиентом подключений внутри стойки с неправильным распределением парных нагрузок часть оборудования может отключаться. Это вызовет негативную реакцию клиентов на работу ЦОД, несмотря на то, что юридически вы будете правы.

Во избежание этого мы рекомендуем:

• проводить информирование клиентов о способах правильного подключения. В качестве соответствующих мер можно предложить размещение информационных плакатов в машинном зале, проведение совместных аудитов подключений с электриком ЦОД;

• обеспечить проактивный мониторинг обычных и парных нагрузок на PDU. Это позволит информировать об угрозе ошибки при приближении к критическим параметрам.

2. Температура

Температура не так критична, как электропитание, и незначительные ее колебания не приведут к немедленной остановке работы ИТ- и телеком-оборудования. Тем не менее это также важнейший параметр ЦОД, зафиксированный в SLA с клиентом.

Традиционно для России и СНГ клиент ЦОД видит этот параметр в пределах температуры 22 ± 2 °C. В современных реалиях производители серверного оборудования расширяют диапазоны приемлемых температур, и этот параметр теоретически может быть увеличен до 26 ± 2 °C. Для его изменения следует избавиться от всего серверного и телекоммуникационного оборудования, требующего прежних параметров, и обновить SLA/OLA в договорах с клиентами.

Так, например, все европейские ведущие колокейшн-провайдеры уже несколько лет работают в новых диапазонах. Это, разумеется, ведет к экономии средств, затрачиваемых на охлаждение, что в пересчете на десятки и сотни мегаватт складывается в весьма значительные суммы.

На наш взгляд, российский консерватизм имеет исторические корни, следуя традиции использования «из поколения в поколение». Зачастую сами клиенты ЦОД не представляют, почему им необходимы именно эти параметры, – они это где-то слышали, прочитали и т. п.

Если посмотреть на эволюционные изменения температур от ASHRAE[21], можно понять, что когда-то это было действительно актуально, но за прошедшие годы изменилось практически все, кроме сознания людей.

Сравнение версий рекомендованных параметров воздуха от 2004, 2008/2011, 2015 и 2021 гг.

Даже если технически возможно повысить температуру охлаждающего воздуха, раз вы представляете коммерческий ЦОД, вы должны будете учитывать настроения клиентов, которые могут выбрать другого провайдера только потому, что «у него холоднее».

С точки зрения службы эксплуатации также лучше тем или иным способом обеспечить более низкую температуру для ИТ-оборудования, так как у вас будет больше времени на реакцию и предотвращение аварий, вызванных перегревом оборудования. В любом случае необходимо помнить о балансе между экономикой и эксплуатацией.

3. Влажность

Влажности уделяется традиционно меньшее внимание. Все знают, что при низкой влажности в зимнее время есть риски повреждения оборудования статическим электричеством. Но это теория, а на практике ЦОД с антистатическими фальшполами и работающим заземлением – не то место, где накапливается статика.

С высокой влажностью борются еще меньше: считается, что система кондиционирования осушает воздух и влажность не может достигнуть пределов, опасных для оборудования. Тем не менее также не стоит доводить влажность до крайних значений.

Например: при запуске одного корпоративного ЦОД стояли четкие сроки начала тестовых испытаний ИТ-систем. К моменту, когда все было готово, система вентиляции и кондиционирования еще не функционировала из-за сложностей с поставками. Тем не менее было принято решение запускать ЦОД без охлаждения, так как изначальная мощность ИТ-оборудования не прогревала пространство ЦОД настолько, чтобы требовалось теплоотведение. При этом влажность была свыше 90 % – характерная для субтропического климата. Спустя несколько месяцев на серверном оборудовании, которое работало в таких условиях, стали появляться «синие экраны смерти». Опытным путем было установлено, что вследствие большой влажности произошло окисление планок памяти. Далее, после запуска систем кондиционирования и вентиляции, такого более не происходило.

На практике влажность трудно поддерживать в заданных режимах. И если вам повезло не иметь ограничений данного параметра в SLA – просто избегайте экстремальных значений в обе стороны, руководствуясь теми же современными требованиями ASHRAE.

Если же в SLA указаны параметры влажности – надо стремиться их соблюдать. Зимой помогают пароувлажнители, летом влага конденсируется на теплообменниках кондиционеров и происходит осушение воздуха. Если на улице экстремальные условия и возможностей системы кондиционирования недостаточно, то остается одно – выключить приточную вентиляцию. К этому способу прибегают нечасто, но он помогает вернуть показатели влажности в рамки SLA, хотя и в ущерб свежести воздуха в серверном помещении.

Определение параметров SLA

При определении параметров SLA следует учитывать сроки реакции ваших поставщиков (например, сервисных компаний, провайдеров) на какое-либо аварийное событие, то есть время реакции поставщика в SLA должно быть меньше времени возможного прерывания сервиса ЦОД для клиента.

На практике это фактически нереально из экономических соображений: чем короче сроки реакции, тем выше стоимость сервисного контракта. Можно даже организовать круглосуточные службы поддержки поставщиками на площадке ЦОД с проживанием, но это приведет к невероятной стоимости контракта.

Что делать в этом случае? Предотвращать возможные проблемы различными компенсирующими мерами.

Например: SLA с компанией, осуществляющей ремонт ИБП, оговаривает срок прибытия в ЦОД в пределах 4 часов, а восстановления – не более 8 часов. У вас выходит из строя один из ИБП, и один из вводов остается без гарантированного питания от ИБП. Какие меры может предпринять служба эксплуатации своими силами, чтобы обеспечить бесперебойную работу в таких условиях?

• Заранее определить компоненты, способные выйти из строя, и иметь их на складе в ЦОД.

• Запустить ДГУ на 8 часов, то есть на максимальное время восстановительных работ по SLA, чтобы второй ввод имел гарантированное питание до момента устранения неисправности.

• Заранее обучить персонал работе с оборудованием и провести тестовые тренировки по ликвидации аварийных ситуаций.

• Применять типы ИБП, позволяющие заменять узлы модулями в горячем режиме, без необходимости отключения оборудования, силами дежурной смены (без выезда сервис-инженера) для экономии средств и времени.

Разумеется, эти действия потребуют подготовительной работы руководителей службы эксплуатации. Но тем самым грамотно и спланированно, при сохранении высокого уровня доступности будет достигнута значительная экономия бюджета – по сравнению со стоимостью контракта с вендором/поставщиком на поддержку такого же уровня.

Служба эксплуатации ЦОД

Прежде всего мы должны установить и определить, что такое служба эксплуатации ЦОД.

Служба эксплуатации – это ключевое структурное подразделение ЦОД, команда которого, эксплуатируя инженерное оборудование и системы согласно действующим нормам, правилам и стандартам, обеспечивает предоставление услуг заранее определенного уровня.

Многие считают, что служба эксплуатации отвечает в ЦОД за все. Это, конечно же, не так. Служба эксплуатации отвечает за работу критически важных инженерных систем, список которых приведен в соответствующей главе. Важно понимать, что служба эксплуатации не отвечает за сети передачи данных (за исключением прокладки и коммутации кабелей) и серверное оборудование с программным обеспечением (за исключением подачи электричества и охлаждения).

Служба эксплуатации ЦОД вообще может не представлять, какие именно данные обрабатываются на серверах, размещенных в ЦОД (особенно актуально для коммерческих ЦОД), но должна понимать совместно с клиентом, что необходимо обеспечить, чтобы эти сервера работали.

Задачи службы эксплуатации ЦОД

В действующем Своде правил (СП) «Здания и сооружения. Правила эксплуатации. Основные положения» можно найти достаточно верное определение службы эксплуатации:

Служба эксплуатации зданий (сооружений) обеспечивает самостоятельно или с привлечением специализированных организаций выполнение комплекса работ по эксплуатационному контролю и обслуживанию зданий (сооружений):

• участие при вводе в эксплуатацию здания (сооружения) с правом визирования документов;

• взаимодействие с организациями, выполняющими монтажные и пусконаладочные работы…;

• поддержание эксплуатационных показателей строительных конструкций зданий (сооружений)…;

• эксплуатационный контроль и обслуживание систем инженерно-технического обеспечения…;

• круглосуточное диспетчерское обслуживание систем инженерно-технического обеспечения и коммуникаций…;

• эксплуатация производственного оборудования…;

• при необходимости создание собственной службы по обеспечению работ по устранению аварийных ситуаций и своевременный вызов аварийных служб в случае невозможности ликвидировать аварийную ситуацию собственными силами;

• исполнение нормативных актов, нормативных документов и технической документации по эксплуатации собственными силами или с привлечением сторонних организаций;

• ведение технической эксплуатационной документации, в том числе внесение изменений, возникших при эксплуатации объекта…;

• взаимодействие с подрядными организациями и контроль их работы;

• работы по уборке и благоустройству территории…[22]

Несмотря на то, что здесь описывается служба эксплуатации зданий, по своей сути ее задачи не отличаются от службы эксплуатации ЦОД. Забегая вперед, можно сказать, что тут указаны почти все аспекты деятельности ЦОД, которые будут раскрыты далее.

В свою очередь, европейский стандарт EN50600–3–1 эту же задачу выражает более емко одной фразой:

The aim… is to keep the data center at the status of normal operations[23].

Давайте попробуем сформулировать основные задачи, характерные для ЦОД:

• Предоставление потребителям услуг определенного уровня согласно SLA/OLA.

• Организация постоянно совершенствующихся процессов эксплуатации согласно действующим нормам, правилам и международным стандартам.

• Раскрытие всего потенциала инженерных систем и рациональное расходование ресурсов.

Наверняка вы можете назвать и другие задачи; ниже мы приводим аргументы, почему мы в качестве задач выбрали именно эти.

Предоставление услуг клиентам согласно SLA

Данная задача является «вершиной пирамиды» работы службы эксплуатации. Клиенты должны получать услуги с параметрами, прописанными в договоре.

Для расстановки приоритетов внутри службы эксплуатации на случай устранения нескольких одновременных инцидентов можно разделять критичность различных параметров SLA. Например, краткосрочное отключение электропитания стойки, очевидно, намного критичнее долгосрочного незначительного превышения уровня влажности, хотя с формальной точки зрения ЦОД должен предоставить именно те уровни сервиса, которые прописаны в договоре, независимо от их критичности для оборудования клиента. Именно за нарушение SLA с клиентами руководители и сотрудники службы эксплуатации ЦОД должны лишаться премий или увольняться в первую очередь, и, напротив, их нужно поощрять за отсутствие таких нарушений. Подробнее об этом написано в главах «Мотивация и KPI» и «Потребители услуг ЦОД и важность SLA».

Организация процессов эксплуатации

По действующим нормам и правилам

Это классическая задача для службы эксплуатации любого предприятия. Мы работаем в правовом поле, требующем от нас соблюдения правил электробезопасности, пожарной безопасности, охраны труда и т. п. Сотрудники должны быть обучены и аттестованы исходя из требований к эксплуатируемому оборудованию, документация должна вестись надлежащим образом. Если этого не происходит, есть риск получения законных претензий со стороны контролирующих органов, от штрафов до приостановки деятельности. Служба эксплуатации всегда должна быть готова пройти любой аудит со стороны надзорных органов.

Так как задача организации процессов службы эксплуатации согласно нормам и правилам – типовая для любого предприятия, то она должна быть на 100 % качественно выполнена службой эксплуатации, а требования норм и правил рассматриваются как необходимый минимум для безопасного и качественного построения всех остальных процессов эксплуатации.

По требованиям международных стандартов и best practice[24]

Опыт показывает, что соблюдение норм и правил – только фундамент для организации процессов. Дальше необходимо выбрать ту модель построения процессов службы эксплуатации, которая обеспечит требуемую надежность. Данная модель определяет экосистему документации и процессов, их взаимосвязь между собой. При этом важно избежать двойной документации, совместив документацию «для норм» с документацией для best practice. Служба эксплуатации всегда должна быть готова пройти любой аудит со стороны независимых аудиторов.

На данный момент общепринятой эффективной best practice моделью является Method of Procedure (MOP). Если изучить его историю, то становится понятно, что данный метод не придуман специально для ЦОД, а пришел из других, более старых объектов критической инфраструктуры, в частности, с морского флота. Далее мы очень подробно рассмотрим все аспекты этого метода.

Раскрытие всего потенциала инженерных систем и рациональное расходование ресурсов

Пункт 1.2.2 ПТЭЭП[25] обязывает: «Потребитель обязан обеспечить учет, рациональное расходование электрической энергии и проведение мероприятий по энергосбережению».

Пункт 1.5.1 ПТЭЭП гласит: «Система управления электрохозяйством Потребителя электрической энергии… должна обеспечивать: …эффективную работу электрохозяйства путем совершенствования энергетического производства и осуществления мероприятий по энергосбережению».

В распоряжении службы эксплуатации ЦОД находятся высокотехнологичные инженерные системы с заложенной в них избыточностью (резервированием). Грамотно выстроив процессы эксплуатации необходимо использовать этот, заложенный в системы, потенциал, для недопущения влияния аварий единичного оборудования на итоговый уровень SLA перед клиентами.

Любое оборудование имеет оптимальные параметры работы, при которых соблюдается баланс между эффективностью и износом. Если откинуть пафос слов о природе и глобальном потеплении, нужно просто помнить, что в руках службы эксплуатации ЦОД находится условный нагревательный прибор, мощность которого измеряется в мегаваттах. Незначительными настройками оборудования и режимов его работы, даже без влияния на надежность, можно легко варьировать мощность этого нагревательного прибора в разумных пределах. А если помнить, что таких нагревательных приборов в мире все больше и больше, то становится очевидным, что режимы работы оборудования должны быть выбраны таким образом, чтобы обеспечивать требуемую надежность, но при этом не расходовать лишнюю энергию.

Роль службы эксплуатации на различных этапах построения ЦОД

Перед началом непосредственного использования объект нужно построить, протестировать и сдать в эксплуатацию. Чтобы переход от построения ЦОД к эксплуатации был максимально гладким и организованным, а уровень сервиса – высоким с первых дней работы ЦОД, требуется участие службы эксплуатации на всех этапах создания ЦОД, начиная с написания технического задания. Надо учитывать, что служба эксплуатации не обладает таким опытом, как проектные организации, сдающие по несколько ЦОД в год, но тем не менее она определяет важные нюансы, которые улучшат или облегчат функционирование ЦОД в дальнейшем.

Поэтому крайне важно начинать формировать службу эксплуатации еще до начала работ по проектированию ЦОД, чтобы иметь свою внутреннюю команду для контроля выполнения задач проектировщиками. Эта команда будет максимально заинтересована в получении результата – ведь именно ей в дальнейшем придется эксплуатировать данный ЦОД.

Какие задачи будут выполняться на начальном этапе:

* Значение аббревиатур SCP, SOP, MOP, EOP будет объяснено далее по тексту.

Пусконаладочные работы, приемка в эксплуатацию

После того как ЦОД построен, он проходит пусконаладочные работы и приемо-сдаточные испытания, которые являются начальной точкой эксплуатации и предваряют дальнейшее повседневное управление ЦОД. Собственно пусконаладочные работы, испытания и сдача ЦОД в эксплуатацию (commissioning) состоят из нескольких достаточно широко известных этапов, которые, в частности, предлагает Uptime Institute:

1. Заводское тестирование производителем критически важного инженерного оборудования (Factory Acceptance Test, FAT, или Factory Witness Test, FWT).

Может быть проведено как в присутствии представителя команды эксплуатации, так и без него, с приложением результатов заводского тестирования к комплекту документов.

2. Получение, установка и предварительное функциональное тестирование критически важного инженерного оборудования (Installation Acceptance Test, IAT).

Получение, первичная установка оборудования, оценка комплектности и соответствия спецификации, проверка правильности монтажных работ в соответствии с проектом.

3. Функциональное тестирование, автономное тестирование критически важного инженерного оборудования и начальная конфигурация предварительного пуска системы (Component Test, CT).

Настройка и тестирование оборудования.

4. Запуск системы, ОЕМ-тестирование и индивидуальное тестирование систем (Site Acceptance Test, SAT).

Испытания конкретного оборудования по соответствующей программе, с нагрузкой и без.

5. Интегрированные эксплуатационные испытания (Integrated Site Acceptance Test, ISAT).

Комплексные испытания всех систем ЦОД одновременно на расчетную нагрузку.

Важно понимать, что все эти стадии приемки оборудования в эксплуатацию происходят не только во время начала работы ЦОД, но и при всех последующих расширениях различных систем.

Влияние службы эксплуатации на проектирование

В процессе создания ЦОД каждый должен выполнять свою роль. Часто между проектировщиками и службой эксплуатации возникают споры из-за технических решений. И на самом деле споры – это хорошо. Если люди готовы слушать аргументы, то в спорах рождается лучшее решение.

Ниже опишем некоторые часто встречающиеся примеры из нашей практики, неочевидные для проектировщиков и жизненно важные для эксплуатации и потребителей услуг ЦОД.

Требования к внешнему электроснабжению

Зачастую заказчики и проектировщики пытаются повысить надежность проектируемого ЦОД путем ужесточения требований к внешнему электроснабжению. В результате напрасно расходуется время на поиски площадки с возможностью выделения двух независимых городских вводов электричества для обеспечения первой или второй категории надежности энергоснабжения[26], при этом подключение по более высокой категории оплачивается по повышенным ставкам (технологическое присоединение по второй категории надежности будет значительно дороже по сравнению с третьей). Кроме того, срок технологического присоединения увеличится, так как для присоединения по более высокой категории потребуется больше времени на проектирование, согласование проекта в Ростехнадзоре и получение разрешительных документов. При этом подходящие площадки, имеющие только один ввод внешнего электроснабжения, отвергаются априори.

Однако если открыть стандарт Tier Standard: Topology (TS: T) компании Uptime Institute, то мы увидим в пункте 2.5, что «энергогенерирующие системы площадки (например, двигатель-генераторы, топливные элементы) рассматриваются в качестве основного источника электроснабжения ЦОД. Местная электрическая сеть является экономичной альтернативой…».

Далее, если мы обратимся к статье «Система классификации Tier: мифы и заблуждения»[27], то узнаем, что, «согласно стандарту Tier Standard: Topology, единственным надежным источником электропитания для ЦОД является генераторная установка. Это связано с тем, что электроснабжение подвержено незапланированному отключению даже в местах с надежными электросетями. Число внешних фидеров, подстанций и электросетей, к которым подключен ЦОД, не определяет его уровень Tier и никак не влияет на него. Как следствие, подключение к электросети общего назначения даже не требуется для сертификации».

К этому выводу можно было прийти и самостоятельно, просто внимательно прочитав определение категорий электроснабжения в Правилах устройства электроустановок (ПУЭ).

ПУЭ, п. 1.2.19. Электроприемники первой категории в нормальных режимах должны обеспечиваться электроэнергией от двух независимых взаимно резервирующих источников питания, и перерыв их электроснабжения при нарушении электроснабжения от одного из источников питания может быть допущен лишь на время автоматического восстановления питания.

ПУЭ, п. 1.2.20. Электроприемники второй категории в нормальных режимах должны обеспечиваться электроэнергией от двух независимых взаимно резервирующих источников питания. Для электроприемников второй категории при нарушении электроснабжения от одного из источников питания допустимы перерывы электроснабжения на время, необходимое для включения резервного питания действиями дежурного персонала или выездной оперативной бригады.

В приведенных пунктах ПУЭ мы видим две важные вещи:

А) В обоих случаях источники должны быть взаимно резервирующими, а это те источники, на которых, согласно ПУЭ, п. 1.2.10, «сохраняется напряжение в послеаварийном режиме в регламентированных пределах при исчезновении его на другом или других источниках питания», то есть резерв источников должен быть 2N. Не следует путать это резервирование с двумя линиями от одной подстанции (резерв линий 2N). Наличие резерва 2N по линиям от одного источника, например от ДГУ, вполне логично, так как позволяет обслуживать одну линию без выведения всего комплекса ДГУ из работы. Наличие двух линий от городской подстанции тоже имеет смысл, так как позволит вам не переходить на ДГУ при обслуживании одной из этих линий. Но две линии от одного источника – это все равно третья категория надежности.

Б) Время пропадания электричества равно времени ручного переключения для второй категории и времени автоматического переключения – для первой. При этом в обоих случаях пропадание допустимо и время этого переключения не нормировано, хотя, скорее всего, предполагается, что время ручного переключения исчисляется в минутах (а может, и в часах), а автоматического – в секундах, если другое явно не указано в договоре на электроснабжение. Теперь представьте себе, что электроснабжающая организация согласится добавить себе в договор дополнительные временны́е обременения и, естественно, штрафы за их неисполнение, а они равны штрафам, которые клиенты выставят ЦОД. Считаете ли вы такое развитие событий вероятным?

Подведем итог:

При любой категории внешнего электроснабжения надо понимать, что его безотказная работа находится не в вашей зоне ответственности. Другое дело – всецело принадлежащий вам источник электроснабжения (чаще всего это ДГУ). За его состояние и работоспособность несет ответственность служба эксплуатации, то есть вы сами.