"Телеком. Коммуникации и сети" 4/2008, сс. 48-51

Компактизация оборудования, безусловно, является благом для ИТ. Требования по вычислительной производительности серверных и ЦОД значительно растут каждый год, при этом площадь, отведенная под серверное помещение или ЦОД, как правило, не меняется. Компаниям чрезвычайно дорого переезжать из существующего здания в новое. И причина не только в дефиците и высокой стоимости коммерческой недвижимости в нашей стране, но и просто в невозможности подвести необходимые 150—300 кВт мощности. Ибо не нужно объяснять причину перегруженности электрических подстанций в крупных городах.

Необходимость в планировании

На сегодняшний день существует множество подходов к охлаждению в серверных и ЦОД. Зачастую, исходя из соображений экономии, проектируются системы охлаждения, которые рассчитаны на текущее тепловыделение и плотность оборудования и не предусматривают возможность развития.

При грамотном подходе инженерная инфраструктура ЦОД, включая системы электропитания и кондиционирования, рассчитывается на срок эксплуатации не менее 10 лет. За этот период, как правило, происходит два или три обновления серверного оборудования. А это значит, что инженерная инфраструктура должна за короткий срок адаптироваться к новому оборудованию, к увеличенным показателям плотности и тепловыделения, потребления электроэнергии.

Опыт показывает, что зачастую перегревы ИТ-оборудования, приводящие к аварийным остановкам, возникают из-за того, что еще недавно многие компании не верили в то, что у них будет более 5 кВт в одном серверном шкафу.

Ограничения традиционного подхода

Традиционные системы охлаждения, построенные с использованием фальшпола (охлажденный воздух подается из-под фальшпола через решетки в пространство перед монтажными шкафами), столкнулись с невозможностью обеспечить необходимый объем воздушного потока для эффективного охлаждения шкафов с тепловыделением более 3 кВт. Чтобы отвести от серверного шкафа 12 кВт тепловой энергии при разнице температур 10 °С потребуется почти 1м3 в секунду и восемь перфорированных плит с пропускной способностью 150 л/с каждая(!). Чтобы решить такую задачу, кроме установки мощной системы кондиционирования, понадобится значительно поднимать высоту фальшпола, существенно увеличивать пространство перед серверными стойками (чтобы воздух подавался из-под нескольких плит) и укреплять конструкцию фальшпола, чтобы сильные воздушные потоки не срывали плиты. Такое значительное увеличение количества перфорированных плит приведет к тому, что в помещении вместо четырех рядов сток можно будет расположить только два ряда, что уже само по себе экономически невыгодно. Кроме того, при скорости  подачи воздуха свыше 1 м/с неизбежно значительное смешивание воздушных потоков, а также засасывание воздуха из-под соседних плит фальшпола. Ко всем неудобствам такого подхода добавляется еще один серьезный недостаток в виде непредсказуемости. Любое изменение расстановки шкафов, замена или добавление оборудования непредсказуемым образом повлияет на распределение воздушных потоков. Другими словами, добавив еще один серверный шкаф, придется заново перенастраивать всю систему охлаждения, при чем каждый раз эта задача будет оказываться все сложнее.

Кондиционеры в ряд!

Среди других вариантов схем охлаждения оборудования одним из наиболее эффективных на сегодняшний день является расположение блоков кондиционирования в ряд между шкафами с ИТ-оборудованием. Такая схема позволяет максимально приблизить блоки кондиционирования к источникам тепла. Таким образом, горячий воздух, который выдувается из тыльной стороны шкафов, проходит более короткий путь до блока кондиционера, не успевая смешиваться с холодным и повышать температуру во всем помещении. Соответственно холодный воздух выдувается непосредственно с передней стороны шкафов, сразу попадая в воздухозаборники серверов и остального ИТ- оборудования. При этом внутрирядные блоки кондиционирования могут размещаться рядом со шкафами с наиболее высокой плотностью установленного оборудования. Благодаря этому не только повышается точность работы системы кондиционирования по отводу необходимого количества тепла от каждой конкретной стойки, но также уменьшаются требования к общей мощности всей системы кондиционирования, снижаются требования по электропитанию и эксплуатационный расход электроэнергии. Учитывая частые изменения в нагрузке, модернизации серверного парка и расширения, внутрирядные кондиционеры представляют собой и наиболее гибкий вариант. Так как в случае роста тепловыделения существующих стоек либо добавления новых стоек с оборудованием производительность системы охлаждения наращивается путем установки дополнительных внутрирядных блоков кондиционирования.

Схемы расположения шкафов

Необходимо заметить, расположение блоков кондиционирования в значительной степени зависит от схемы расположения шкафов. В прошлом, когда приходилось иметь дело с тепловыделением менее 3 кВт на шкаф, ряды шкафов зачастую располагались так, что передние панели оборудования были ориентированы в одну сторону. При сегодняшних показателях тепловыделения такой подход вызывает проблемы. Большинство серверов, смонтированных в стойку, спроектировано так, чтобы забирать воздух спереди и выводить его сзади. Когда все стойки ориентированы в ряду в одном направлении, горячий воздух первого ряда выводится в проход, где он смешивается с подаваемым или комнатным воздухом, и поступает в переднюю часть второго ряда. В результате прохождения воздуха сквозь ряды ИT-оборудования на каждый последующий ряд подается все более горячий всасываемый воздух, и перегрев оборудования со всеми последующими рисками неизбежен.

Наилучшим способом расположения рядов оборудования является чередование «горячих» и «холодных» коридоров. Ряды шкафов устанавливают тыльными сторонами друг к другу. Горячий отработанный воздух отводится от ИТ-оборудования и изолируется в горячем коридоре, что исключает смешивание воздушных потоков. Далее нагретый воздух проходит через блоки внутрирядного кондиционирования и возвращается в помещение.

При всей своей простоте и невысоких затратах такое расположение оборудования в серверных помещениях и ЦОД способно дать очень хорошие результаты. Из практического опыта: при среднем показателе плотности 8 кВт/шкаф и семи шкафов с оборудованием в каждом ряду переориентация шкафов с выделением «горячего» коридора позволила снизить температуру в ЦОД на 9 °С (!) без малейшей модернизации в системе кондиционирования. При расположении оборудования по такой схеме следует учитывать, что для оптимального распределения воздуха расстояние между шкафами в «горячем» коридоре должно быть не менее 90 см и не более 180 см.

«Разделяй и властвуй»

Планируя расположение оборудования в серверных помещениях и ЦОД, следует учитывать значения плотности оборудования на уровне стоек, на уровне ряда и на уровне помещения. Эти показатели могут существенно отличаться, например, если в серверном помещении большая часть стоек заполнена телекоммуникационным оборудованием, обычными серверами с плотностью около 8 кВт/шкаф, при этом в 1—2 стойках может быть плотность 15 кВт/шкаф  (там могут быть установлены блейд-серверы). В такой ситуации целесообразно выделить стойки с высоким тепловыбросом и использовать решение для изолированного охлаждения именно этих стоек. Основная задача таких систем изолирования горячего воздуха — это увеличение эффективности кондиционера и гибкости системы. Эффективность повышается за счет отсутствия перемешивания горячего воздуха с холодным, а гибкость системы — за счет того, что лучше охлаждаются именно те стойки, которые этого требуют, а не весь ЦОД. Изолировав стойки с высоким тепловыделением, мы фактически исключаем их из ряда источников тепла в ЦОД, в том время как остальные стойки могут охлаждаться системой кондиционирования гораздо меньшей мощности.

На уровне отдельной стойки такое решение включает в себя один или несколько серверных шкафов, один или несколько блоков кондиционирования и изолирующие кожухи, которые полностью разделяют потоки горячего и холодного воздуха.

Бесперебойное охлаждение

Очень часто в целях экономии кондиционеры не подключают к системе бесперебойного энергоснабжения или подключают только к ДГУ, но не подключают к ИБП. Эта практика оправдывала себя в прошлом, когда удельная мощность тепловыделения была невелика, а машинные залы традиционно имели очень высокие потолки. Прежде чем поступать так в своем ЦОД, посчитайте, сколько воздуха прокачивает сквозь себя ваше ИТ-оборудование. Обратите внимание, что при любом отключении внешнего энергоснабжения система кондиционирования блокирует запуск компрессора не менее чем на 3 минуты, выход на режим мощных кондиционеров занимает еще до 3—5 минут. Это значит, что при малейшем сбое питания ЦОД остается практически без охлаждения на 5—10 минут. При достаточно обычных в наше время плотностях мощности за это время температура в ЦОД может подняться на 20—50 °С, а в случае использования большого количества 1U-серверов или серверов-лезвий температура может подниматься на 20 °С в минуту. Посмотрев инженерную документацию многих производителей микрочипов можно найти очень важное требование: скорость изменения температуры микропроцессора не должна быть выше 6—20 °С/час. Следовательно, выключение системы охлаждения на 5 минут и последующее включение системы охлаждения создают термальный удар, в результате которого электронные компоненты серверов выходят из строя.

Отсюда еще одно важное условие при проектировании ЦОД: коэффициент готовности системы охлаждения должен быть не хуже, чем коэффициент готовности системы энергоснабжения. Это достигается не только обеспечением бесперебойного электропитания системы кондиционирования, но и с помощью резервирования блоков кондиционирования. В случае применения кондиционеров, устанавливаемых в ряд между шкафами с оборудованием (о которых рассказывалось выше), есть возможность расположить блоки кондиционирования таким образом, чтобы выход из строя одного кондиционера компенсировался работой других.

Еще одна часто встречающаяся ошибка при создании ЦОД — отсутствие резервных кондиционеров в помещениях, где устанавливаются ИБП. Однако нужно помнить, что ИБП также требуют охлаждения и в случае недостаточного охлаждения они могут отказать в самый неподходящий момент.

Обратите внимание, что хотя недостаток мощности кондиционеров приводит к быстрому перегреву и остановке ЦОД, переизбыток мощности может быть также достаточно опасен.

Надежность многих систем кондиционирования существенно снижается при нагрузке менее 50 %, в случае использования охлажденной воды могут потребоваться дополнительные накопительные баки для обеспечения более мягкого режима работы водоохлаждающих машин.

Измерить, прежде чем строить

Для грамотного проектирования системы охлаждения следует учитывать всеобщие конструктивные задачи, решение которых необходимо для успешного выполнения проекта.

Корректное измерение мощности оборудования. Для построения достаточной по мощности и в то же время безызбыточной инфраструктуры электропитания и кондиционирования необходимо точно измерить величину мощности оборудования. Результаты в значительной степени зависят от методики вычислений. Наиболее точную оценку можно получить, проводя измерения мощности оборудования на уровне отдельной стойки, а не группы стоек или помещения.

Определение ограничений действующей инфраструктуры. В действующих центрах обработки данных могут иметься жесткие ограничения, из-за которых модернизация станет невозможной или непомерно дорогостоящей. Следует выяснить следующие характеристики:

-Точное значение предельной нагрузки систем электропитания — для определения ограничений систем электропитания.

-Точное значение предельной нагрузки систем кондиционирования — для определения ограничений систем кондиционирования.

-Ограничения по площади помещений, в некоторых случаях определяющие выбор технического решения.

-Отсутствие навесного потолка может воспрепятствовать установке отдельных конструктивных элементов.

-Особенности фальшпола могут обусловить ограничения по эффективности распределения воздуха.

-Ограничения по несущей нагрузке пола, возможны ограничения по массе конструкции.

Успешное развертывание невозможно без анализа условий и определения ограничений имеющейся инфраструктуры.

По материалам компании АРС