"Телеком. Коммуникации и сети", № 3, 2008 с. 42-46

Требования к параметрам микроклимата различных технологических помещений обычно изложены в Национальных нормативно-технических документах. В случае отсутствия Национальных норм, проектировщик ориентируется на требования, задаваемые производителем оборудования. (Обычно они изложены в фирменной инструкции по эксплуатации или техническом описании.) Если требования к параметрам микроклимата у различных производителей отличаются, при проектировании системы кондиционирования необходимо использовать наиболее жесткие требования.

У каждого вендора свои требования по эксплуатации оборудования. Например, существуют серверы IBM, у которых требования по влажности от 7 % до 85 %. Если ЦОД оборудован исключительно такими серверами, нет необходимости устанавливать климатическую технику с  пароувлажнителями. Это важно учитывать, потому что отсутствие жестких требований по влажности в данном случае позволяет сэкономить на приобретении парогенерирующего оборудования, а также на электроэнергии, которую бы оно потребляло.

В том случае, если требования к оборудованию по влажности лежат в диапазоне от 40 % до 60 %, заказчик не обойдется без закупки и установки парогенераторов. Соответственно на их эксплуатацию будет расходоваться дополнительное количество электроэнергии.  

Грамотный сервер  

В данный момент технологии развиваются стремительно: оборудование «умнеет» на глазах.  Чтобы обезопасить серверное оборудование, многие производители пошли на то, что в процессоре сервера  выделяется дополнительная кеш-память, устанавливаются собственные температурные датчики. То есть сервер сам записывает и контролирует температурно-влажностные условия, в которых он находится.

В случае неполадок сервис-инженер вскрывает кеш-память, чтобы удостовериться, в каких условиях эксплуатировалось оборудование. Также в данном случае предъявля-ются неоспоримые свидетельства нарушения условий эксплуатации, если таковые имели место.

Кондиционер не спасет

Грамотно составленное техническое задание — залог того, что система климатического обеспечения ЦОД в процессе эксплуатации будет соответствовать реальным потребностям оборудования. Особое внимание хочется акцентировать на «месте претыкания» многих инженеров, занимающихся  проектированием климатических систем. Пользоваться простой математикой при расчете необходимого теплосъема от стоек нельзя. Что имеется в виду? Например, заказчик подает техническое задание, в котором прописано, что в помещении ЦОД или серверной планируется установить оборудование с общим выделением тепла 100 кВт и необходимо подобрать кондиционеры на указанную мощность. Если ТЗ ограничится лишь данным показателем, то создать концепцию системы кондиционирования для ЦОД просто невозможно.

Хотя при первом рассмотрении вопроса кажется, что если подобрать кондиционеры на 100 кВт либо поставить их с запасом на 150 кВт, система должна работать. На практике же все не так просто. Система, возможно, и будет работать, но далеко не во всех случаях. Дело в том, что необходимо учитывать еще целый ряд важных моментов: во-первых, характер помещения, во-вторых, направление движения воздуха внутри самой стойки, а также  тепловыделение от каждой стойки. Не зная этих параметров, невозможно построить адекватную систему охлаждения.

На самом деле вариантов огромное количество. Так, например, некоторые стойки HP забирают воздух сзади, снизу и с фронта, а выбрасывают вертикально вверх. Некоторые серверы Cisco забирают воздух слева направо. Существуют стойки IBM, которые забирают воздух с фронта и выбрасывают наверх. И это далеко не все варианты.

Незнание вариантов направления движения воздуха каждой стойки, а также непонимание того, каким образом будут формироваться потоки воздуха в целом по помещению, невозможно гарантировать отвод тепла от них.

Математика не работает

Нередки случаи, когда в оборудованном климатической системой ЦОД происходит выход из строя оборудования по причине перегрева. При этом система кондиционирования работает и ее мощность может в два раза перекрывать необходимые показатели по теплосъему. Сервис-инженер может комментировать сложившуюся ситуацию таким образом: «У меня тут творятся непонятные явления: я с источника бесперебойного питания снимаю, что у меня все ИТ-оборудование потребляет порядка 60 кВт электроэнергии, а суммарная мощность кондиционеров 100 кВт. Все находятся в работе. И при этом у меня образуются зоны перегрева, сервера начинают выходить из строя».

С чем это связано? Связано с тем, что кондиционеры работают сами на себя. Для того чтобы отвести определенное количество тепла от стойки, нужно подать ей соответствующее количество воздуха необходимой температуры. Получается, что качество оборудования, его мощность и работоспособность ситуацию не решают.

Ключевой проблемой в данном случае выступает вопрос воздухораспределения.

Именно поэтому у заказчика нужно получить все необходимые исходные данные, чтобы составить развернутое техническое задание.

Основным приложением к нему будет идти таблица, в которой описывается каждая стойка (тепловыделение и направление забора/выброса воздуха). Именно детальная информация о каждой стойке позволит правильно построить климатическую систему.

По цвету или по росту?

На стадии проектирования надо грамотно подходить к расстановке оборудования. Зачастую на практике климатическое оборудование расставляется по остаточному принципу, то есть вначале ИТ-департамент расставил все свои серверные стойки, а затем уже поставил задачу отвода тепла от них. Если при этом тепловыделение от стоек достаточно высокое, то решить проблему эффективного теплосъема может оказаться невозможным.

Существует масса примеров «абсурдной» расстановки стоек: иногда можно увидеть логическую расстановку — по росту, иногда эстетическую — по цвету. Расставлять же оборудование необходимо исходя лишь из наилучшей системы его охлаждения.

Логика не работает

Не стоит забывать факт того, что в худшем положении оказываются стойки, ближайшие к кондиционеру. Зачастую специалисты ИТ-департамента рассуждают логически: чем ближе к кондиционеру, тем должно быть холоднее. Исходя из такой логики, в непосредственной близости от кондиционеров ставят стойки с наибольшим тепловыделением, наиболее мощные.

В данной ситуации происходит несколько неприятных фактов. Первое: при таком расположении оборудования и недостаточной высоте фальшпола ближайшие к кондиционеру устройства плитки фальшпола вместо того чтобы раздавать воздух начинают работать на инжекцию, то есть воздух попросту засасывается.

Подобные явления происходят очень часто. При этом сервис-инженеры, наблюдая перегрев стоек, нарекают на недееспособность кондиционеров. А причина кроется в другом.

Самый простой способ проверить воздухораздающую способность плиток фальшпола — положить обычный листок бумаги. Если он при этом прилипает, становится очевидным, что имеет место инжекция. На «работоспособной» плитке листок взлетит.

Процессы засасывания воздуха происходят по причине высоких скоростей в пространстве фальшпола, как уже упоминалось выше, скорость не должна превышать 1 м/с. Исправить ситуацию можно, поставив отсекатель потока воздуха, то есть погасить скорость, заставив воздух удариться об дифлектор. Также нужно следить за тем, чтобы расстояние от оборудования до ближайшей плитки было хотя бы полтора-два метра.

Рассмотрим другой случай, в котором самыми уязвимыми опять окажутся ближайшие к кондиционеру стойки. Вариант, когда поток воздуха передается перпендикулярно стойке. В этой ситуации холодный воздух был подан, а горячий на пути следования обратно к кондиционеру начинает перемешиваться с холодным. И в лучшем положении при этом оказывается самый дальний ряд стоек. Холодный воздух до него дошел, а горячий на пути следования к кондиционеру ни с чем не смешался, потому что там его попросту нет.

Соответственно ближние к кондиционеру стойки получают большую порцию горячего обработанного воздуха, что ведет к их перегреву. При этом самыми уязвимыми оказываются серверы, установленные в верхней зоне монтажных шкафов.

Следующей ошибкой расположения оборудования при построении «горячих» и «холодных» коридоров, является неправильная расстановка кондиционеров. И опять врагом правильного расположения выступает логика: если  кондиционер подает воздух в «холодный» коридор, значит должен стоять напротив «холодного» коридора. При этом неизбежно возникает проблема: воздух выходящий из ближайших к «холодному» коридору решеток попадает обратно на кондиционер. Его датчики фиксируют показатели воздуха и останавливают компрессор, потому что «заключают», что помещение достаточно охлаждено. Следствием будет перегревание дальних стоек и претензии к производителю «неправильного» оборудования. А проблема решается размещением кондиционера напротив «горячего» коридора.

Расстановка сил

Если мы расставляем стойки с высоким тепловыделением равномерно по всему помещению ЦОД, то можем использовать классическую систему кондиционирования с подачей воздуха под фальшпол. В этом случае использование принципа заимствования обеспечит отвод тепла от всех стоек. Данное расположение позволит заказчику вложить минимальные деньги в систему кондиционирования и получить максимально возможный вариант. Часто заказчик комплектует стойку серверами с высокой теплоотдачей, не задумываясь о нецелесообразности подобных действий. И простой совет разнести «горячие» сервера на две стойки позволит снизить стоимость владения системой кондиционирования, потому что автоматически отпадает необходимость использовать дополнительные средства отвода тепла.

Бывают случаи, когда нет возможности разнести стойки с высоким тепловыделением в разные места, и приходится ставить их рядом. В такой ситуации без дополнительных мероприятий по локальному отводу тепла от этих стоек не обойтись.

Иначе будут возникать зоны перегрева, что неизбежно повлечет за собой выход из строя оборудования.

Не стоит также забывать, что будущее диктует новые условия построения систем климатизации. При варианте когда, например, все стойки ЦОД по 12кВт, классическая система кондиционирования работать не будет. Нужно принимать дополнительные меры и вкладывать дополнительные деньги на отвод тепла от этих стоек.

Проблемы фальшпола

Что касается традиционных вариантов подачи воздуха, то порядка 70 % всех построенных центров обработки данных — это подача воздуха под фальшпол. В первую очередь нужно знать высоту самого фальшпола. Необходимый и весьма важный момент, потому что от него зависит, возникнут ли при эксплуатации ЦОД проблемы с воздухораспределением. Общая проблема кроется в том, что фальшпол используется, фактически, в качестве камеры статического давления. Ключевым моментом здесь выступает скорость воздуха в пространстве фальшпола. При проектировании необходимо стремиться к тому, чтобы она составляла порядка 1 м/с. Если скорости будут превышать данный показатель, проблем с воздухораспределением не избежать.

При проектировке фальшпола следует учитывать наличие под ним дополнительных коммуникаций как-то: кабельные лотки, система газового пожаротушения и т. п. Основной рекомендацией здесь будет то, что все «препятствия» должны располагаться по направлению движения потоков воздуха. Перпендикулярное размещение не допускается, так как это будет порождать сопротивление, отклонение потоков, что в результате приведет к образованию зон перегрева.

Первой проблемой при раздаче воздуха под фальшпол является переток горячего воздуха из «горячего» коридора и захват его на верхние сервера.

Проблема №2 — это переток воздуха через кабельные вводы либо другие системы (например, газового пожаротушения) непосредственно в стойках. Вследствие чего воздух не доходит до потребителя, а значит, не совершает работу. Для того чтобы это предотвратить, существуют специальные кабельные вводы в виде перекрывающихся щеток, которые задают правильное направление воздуху и заставляют его работать непосредственно в местах необходимого теплосъема.

Третьей проблемой является переток воздуха внутри самой стойки. Часто имеют место случаи, когда заказчик не заполняет все юниты стойки. При этом незаполненные места не отделяются заглушками. В этом случае воздух, двигаясь по пути наименьшего сопротивления, обходит сервер, который неизбежно начинает перегреваться.

Устранить данную неприятность достаточно легко, поставив все необходимые заглушки.

При этом даже если в целях экономии они не были приобретены изначально, их простая конструкция позволяет службе эксплуатации вырезать заглушки самостоятельно.

Воздуховоды

Вариант с верхней раздачей воздуха применяется не так часто. В основном такая модель построения возможна для помещений с источниками бесперебойного питания или элетрощитовых комнат. В данной ситуации фальшпол можно не использовать, а раздача воздуха будет происходить при помощи воздуховодов.

Метод «дисплейсмент»

Одним из наиболее эффективных вариантов при отсутствии фальшпола является подача воздуха вдоль пола, или метод «дисплейсмент». Это метод вытеснения, когда холодный воздух с небольшой скоростью дается вдоль пола к стойкам, вытесняет горячий воздух и увеличивает эффективность системы кондиционирования. Существуют два ограничения этого варианта. Первое — это то, что кондиционер в данном случае нужно расположить точно напротив так называемого «холодного» коридора. А второе: стойки с серверным оборудованием должны иметь фронтальный забор воздуха, то есть быть оборудоваными перфорированными панелями. Соответственно, если у стойки забор воздуха производится снизу или стойки имеют стеклянную дверь, система работать не будет.

Балансировка «по воздуху»

Климатическую систему при сдаче в эксплуатацию необходимо балансировать по воздуху. Имеется в виду следующее: для того чтобы отвести определенное количество тепла от стойки, к ней надо подать определенное количество воздуха. Соответственно, не сделав необходимые замеры и не произведя балансировку системы по воздуху, вы не можете гарантировать заказчику, что система будет работать адекватно.

Зачастую приходится прикрывать часть воздухораспределительных устройств, чтобы обеспечить необходимый расход воздуха. Для этого устанавливаются специальные средства, которые предотвращают перетоки воздуха.

Еще необходимо знать варианты воздухораспределительных устройств. Классической системой кондиционирования возможно отвести порядка 5 кВт от стойки. Эта цифра рассчитывается следующим образом: одна решетка с максимально возможной перфорацией способна пропустить через себя порядка 1200 м3 воздуха. Этого объема достаточно, чтобы отвести от стойки порядка

5 кВт тепла. Исходя из этого показателя, можем понимать, что при более высоких показателях по теплоотдаче, возможно, придется осуществлять меры для предотвращения перегрева стойки.

Бывают случаи, когда даже от стойки в 8 кВт отвести тепло можно лишь за счет подачи воздуха. Этого удается достичь, например, за счет увеличения ширины «холодного» коридора до 1800 мм, что соответствует трем плиткам фальшпола.

У Яндекса «сработало»

Как пример успешной инсталляции по методу, описанному выше, можно рассмотреть построенный ЦОД компании «Яндекс». Их новый центр обработки данных строился в три очереди. Каждая серверная выделяет по 500 кВт тепла, то есть суммарно выходит полтора МВт. При этом компания обозначила задачу спроектировать ДОЦ с минимально возможными материальными расходами на оборудование. Для реализации поставленной задачи было спроектировано описанное выше решение. Ширина «холодного» коридора в данном случае составляла 1800 мм, ширина «горячего» — 1200 мм. Были установлены три плитки фальшпола, что полностью решило вопрос с отводом 8 кВт тепла от стойки, и на сегодняшний день ЦОД безотказно работает.

По материалам компании Emerson Network Power