Решение задачи охлаждения высокоплотных ЦОДов

При построении современного центра обработки данных (ЦОД), у которого стоимость одного квадратного метра может доходить до нескольких десятков тысяч долларов, очень важное условие — максимальная загрузка занимаемой площади.

     Решая такую непростую задачу владелец ЦОД приходит к мысли о необходимости более плотного размещения ИТ оборудования. Здесь важно учитывать одну очень непростую проблему, связанную с отводом большого количества тепла от каждой максимально заполненной стойки, которое будет выделяться в ходе работы аппаратуры.

     В качестве примера расчета количества выделяемого тепла можно взять решения компаний IBM и DELL:

Решение от компании IBM

• Каждое шасси BladeCenter имеет размер «7U»
• В стандартную стойку 42U высотой можно установить максимально 6шт BladeCenters
• Максимальное тепловыделение одного BladeCenter составляет 4kW
• Максимальное тепловыделение полностью загруженной стойки будет составлять суммарно 24kW
• Требуемый охлаждающий воздушный поток на один BladeCenter 850 м³/час
• Суммарный охлаждающий воздушный поток на одну серверную стойку: 6 x 850 = 5100 м³/час
• Схема движения воздуха: с фронта назад

Решение от компании Dell

• 10 шт PowerEdge 1855 Blades занимают 7U в серверной стойке
• Максимально можно установить 60шт PowerEdge 1855 Blades в одну серверную стойку 42U высотой
• Максимальное тепловыделение 10шт Blades составляет 4.17kW
• Максимальное тепловыделение 60 штук PowerEdge 1855 Blades , установленных в одну серверную стойки будет составлять 25 kW
• Номинальный охлаждающий воздушный поток на один PowerEdge 1855 Blades составляет 68 м3/час
• Суммарно охлаждающий воздушный поток на одну серверную стойку с 60-тью PowerEdge 1855 Blades составит: 6 x 680 = 4080 м3/час
• Схема движения воздуха: с фронта назад

     Получается, что полностью загруженная стойка требует охлаждающего воздушного потока от 4000 до 5000 м³/час.

     Чтобы подать такой воздушный поток, нужно установить перед серверной стойкой как минимум три решетки 600 Х 600 мм! Тогда перед каждой серверной стойкой в дата-центре должно быть не менее 1,8 метра, а если ряды стоек будут размещены лицом друг к другу, то проход между стойками будет шириной 3,6 метра, что ведет к неэффективному использования пространства в компьютерном зале центра обработки данных.

     Скорее всего, количество выделяемого тепла будет меньше расчетного, так как все серверы в стойке одновременно не загружаются на 100%. Однако, не надо забывать, что с учетом использования виртуализации в ЦОД загрузка серверов будет увеличиваться и приближаться к 90% и даже больше 90 процентов. Но даже если взять за основу цифру в 15 кВт (нагрузка стойки, о которой заявляют производители серверов), то все равно она достаточно высокая, и необходимо применять какие-то специализированные решения, которые могли бы обеспечить надлежащий уровень охлаждения без перегрева установленного в стойку оборудования.

     Мы рассмотрим в данной статье несколько стандартных подходов к воздушному охлаждению в ЦОД и посмотрим, как можно решить задачу охлаждения серверной стойки с выделением тепла до 15 кВт и даже до 25 кВт, не прибегая к системе охлаждения с использованием жидких хладагентов.

Пример дата-центра с тепловой нагрузкой менее 2 кВт на один квадратный метр

В качестве исходных данных рассмотрим следующий пример

Типовое распределение холодного воздуха для решения поставленной задачи в ЦОД будет следующим:

При увеличении нагрузки на серверную стойку такая схема уже не подойдет, так как будут возникать следующие проблемы:

• Подача воздуха через пол ограничена
• Мощность охлаждения ограничена
• Дополнительный нагрев от другого оборудования

Переход к оценке тепловыделения в одной серверной стойке

При возрастающих нагрузках в современных дата-центрах необходимо переходить к оценке и расчету тепловых нагрузок на серверную стойку, что позволяет более точно оценить и рассчитать систему охлаждения в ЦОД.

Также требуются другие подходы к размещению оборудования и распределению воздушных потоков в серверном зале.

Система с «горячими» и «холодными» коридорами позволяет повысить нагрузку на серверную стойку до 6 кВт

При нагрузке от 3 кВт до 6 кВт в ЦОДе требуется уже создать систему охлаждения с «холодными» и «горячими» коридорами.  Холодный воздух попадает через решетки в фальшполе и подается спереди на серверные стойки. Два ряда серверных стоек устанавливаются лицом друг к другу и образуют зону подачи холодного воздуха – «холодный» коридор. Горячий воздух выходит сзади серверных стоек в коридор, который образует зону с горячим воздухом – «горячий» коридор.

     К сожалению, данное решение уже не решает проблемы еще более плотного расположения серверов и выделения тепла свыше 5-6 кВт на одну стойку.

 Создание «холодного бассейна» и повышение отвода тепла до 10-15 кВт со стойки

При выходе воздушного потока сзади серверных стоек возникает ситуация, когда часть горячего потока поступает в зону холодного воздуха и начинает там смешиваться, повышая температуру на входе в оборудования и снижая эффективность системы. При росте нагрузки свыше 5 кВт необходимо изолировать «холодные» и «горячие» коридоры. Тем самым поднимается КПД системы охлаждения дата центра и, как результат, снижаются эксплуатационные расходы. Стойки забирают холодный воздух спереди и выпускают нагретый воздух сзади, который уже не смешивается с холодным. При таком решении можно обеспечить охлаждение на каждую серверную стойку до 10 кВт. На рисунке ниже показан пример создания «холодного бассейна».

Преимущества «холодного бассейна»

• Простое решение
• Использование стандартных кондиционеров

При повышении нагрузки до 15 кВт добавляется верхняя перегородка в «холодном» коридоре, тем самым полностью его изолируя.

Фотография центра обработки данных с использованием «холодного бассейна»

Решение с использованием «активного пола»

Но что делать, если необходимо отводить свыше 10-15 кВт от каждой серверной стойки и при этом не увеличивать количество решеток в «холодном» коридоре? Отсюда возникает вопрос: как подать достаточный поток воздуха через то же количество решеток, чтобы серверы получили «свою порцию» холодного воздуха?

     Предлагается использовать решение итальянской фирмы Uniflair — «активный пол». Основной идеей охлаждения при помощи «активного пола» является подача гораздо большего регулируемого потока воздуха (до 4500 м3/час вместо 800-1000 м3/час от обычной решетки 600 Х 600 мм).

     Установить просто вентилятор в подпольном пространстве было бы не достаточно для обеспечения гарантированного охлаждения серверных стоек. Важно правильно организовать воздушный поток как по давлению, так и по направлению воздуха, чтобы обеспечить подачу воздуха не только в верхнюю часть стойки, но и, в случае необходимости, обеспечить подачу холодного воздуха в ее нижнюю часть. Для этого панель «активного пола» помимо вентилятора, комплектуется процессором, датчиками температуры и поворотными ламелями. Важной особенностью этого изделия, является большой ресурс работы.

Устройство панели «активного пола»

1      Решетка

2а    Регулируемые лопасти – Зона А

2b    Регулируемые лопасти – Зона B

3      Фиксирующие скобы

4      EC вентилятор

5      Решетка подмеса воздуха

6      Электропанель

7      Контроллер 

8      Датчик температуры – Зона A 

9      Датчик температуры – Зона B

     Ниже на картинке приводятся примеры исполнения «активного пола» для горизонтального и вертикального потоков, которые распределяется на две зоны.

 Схемы решений на базе «активного пола» до 15 кВт на стойку и до 25 кВт на стойку

Применение системы «активный пол» позволяет повысить мощность тепловыделения стойки до 25 кВт!

Ниже показан пример решения с «активным полом» и «холодным бассейном».

Преимущества решения на базе «активный пол»

У любого решения есть свои плюсы и минусы. Ниже перечислим основные преимущества и недостатки «активного пола».

• Модульная система легко устанавливается в стандартный фальшпол дата-центра
• Поток воздуха позволяет использовать стойку в полной мощности
• Не требуется подача воды или фреона в зону серверных стоек
• Минимальный поток гарантирован даже в случае поломки вентилятора
• Подходит для расширения существующих серверных и компьютерных залов
• Возможно локальное использование при наличии только одной или нескольких высоконагруженных стоек
• Быстрый эффект от использования данного решения
• Энергосбережение
• Возможность управления

Недостатки

• Мощные потоки воздуха в подпольном пространстве

Заключение

Можно составить схему поэтапного развития и модернизации дата-центра, состоящего из трех этапов:

1. При проектировании дата-центра на первом этапе можно ограничиться расстановкой оборудования с организацией «холодных» и «горячих» коридоров.
2. По мере роста нагрузки и мощности на втором этапе следует организовать «холодный бассейн» с полной изоляцией «холодного» коридора.
3. Если потребуется большая мощность охлаждения, то необходимо установить «активный пол» в местах с максимальной нагрузкой серверных стоек.

      Естественно, что дата-центр должен иметь достаточную мощность охлаждения прецизионными кондиционерами на всех этапах своего развития.