При построении современного центра обработки данных (ЦОД), у которого стоимость одного квадратного метра может доходить до нескольких десятков тысяч долларов, очень важное условие — максимальная загрузка занимаемой площади.
Решая такую непростую задачу владелец ЦОД приходит к мысли о необходимости более плотного размещения ИТ оборудования. Здесь важно учитывать одну очень непростую проблему, связанную с отводом большого количества тепла от каждой максимально заполненной стойки, которое будет выделяться в ходе работы аппаратуры.
В качестве примера расчета количества выделяемого тепла можно взять решения компаний IBM и DELL:
Решение от компании IBM
Решение от компании Dell
Получается, что полностью загруженная стойка требует охлаждающего воздушного потока от 4000 до 5000 м3/час.
Чтобы подать такой воздушный поток, нужно установить перед серверной стойкой как минимум три решетки 600 Х 600 мм! Тогда перед каждой серверной стойкой в дата-центре должно быть не менее 1,8 метра, а если ряды стоек будут размещены лицом друг к другу, то проход между стойками будет шириной 3,6 метра, что ведет к неэффективному использования пространства в компьютерном зале центра обработки данных.
Скорее всего, количество выделяемого тепла будет меньше расчетного, так как все серверы в стойке одновременно не загружаются на 100%. Однако, не надо забывать, что с учетом использования виртуализации в ЦОД загрузка серверов будет увеличиваться и приближаться к 90% и даже больше 90 процентов. Но даже если взять за основу цифру в 15 кВт (нагрузка стойки, о которой заявляют производители серверов), то все равно она достаточно высокая, и необходимо применять какие-то специализированные решения, которые могли бы обеспечить надлежащий уровень охлаждения без перегрева установленного в стойку оборудования.
Мы рассмотрим в данной статье несколько стандартных подходов к воздушному охлаждению в ЦОД и посмотрим, как можно решить задачу охлаждения серверной стойки с выделением тепла до 15 кВт и даже до 25 кВт, не прибегая к системе охлаждения с использованием жидких хладагентов.
В качестве исходных данных рассмотрим следующий пример
Площадь серверного зала |
1000 м² |
Тепловая нагрузка: |
1 кВт/м² |
Схема охлаждения: |
Кондиционеры с подачей воздуха установлены по периметру помещения и показаны зелеными прямоугольниками на рисунке ниже |
Схема резервирования |
n+2 |
Количество кондиционеров: |
15 x 80 кВт |
Типовое распределение холодного воздуха для решения поставленной задачи в ЦОД будет следующим:
Высота фальшпола: |
от 0,6 до 1,0 метра |
Высота потолков: |
от 3 до 5 метров выше уровня фальшпола |
Высота серверных стоек: |
от 2 до 2.4 метров |
При увеличении нагрузки на серверную стойку такая схема уже не подойдет, так как будут возникать следующие проблемы:
При возрастающих нагрузках в современных дата-центрах необходимо переходить к оценке и расчету тепловых нагрузок на серверную стойку, что позволяет более точно оценить и рассчитать систему охлаждения в ЦОД.
Также требуются другие подходы к размещению оборудования и распределению воздушных потоков в серверном зале.
При нагрузке от 3 кВт до 6 кВт в ЦОДе требуется уже создать систему охлаждения с «холодными» и «горячими» коридорами. Холодный воздух попадает через решетки в фальшполе и подается спереди на серверные стойки. Два ряда серверных стоек устанавливаются лицом друг к другу и образуют зону подачи холодного воздуха – «холодный» коридор. Горячий воздух выходит сзади серверных стоек в коридор, который образует зону с горячим воздухом – «горячий» коридор.
К сожалению, данное решение уже не решает проблемы еще более плотного расположения серверов и выделения тепла свыше 5-6 кВт на одну стойку.
При выходе воздушного потока сзади серверных стоек возникает ситуация, когда часть горячего потока поступает в зону холодного воздуха и начинает там смешиваться, повышая температуру на входе в оборудования и снижая эффективность системы. При росте нагрузки свыше 5 кВт необходимо изолировать «холодные» и «горячие» коридоры. Тем самым поднимается КПД системы охлаждения дата центра и, как результат, снижаются эксплуатационные расходы. Стойки забирают холодный воздух спереди и выпускают нагретый воздух сзади, который уже не смешивается с холодным. При таком решении можно обеспечить охлаждение на каждую серверную стойку до 10 кВт. На рисунке ниже показан пример создания «холодного бассейна».
Преимущества «холодного бассейна»
При повышении нагрузки до 15 кВт добавляется верхняя перегородка в «холодном» коридоре, тем самым полностью его изолируя.
Фотография центра обработки данных с использованием «холодного бассейна»
Но что делать, если необходимо отводить свыше 10-15 кВт от каждой серверной стойки и при этом не увеличивать количество решеток в «холодном» коридоре? Отсюда возникает вопрос: как подать достаточный поток воздуха через то же количество решеток, чтобы серверы получили «свою порцию» холодного воздуха?
Предлагается использовать решение итальянской фирмы Uniflair — «активный пол». Основной идеей охлаждения при помощи «активного пола» является подача гораздо большего регулируемого потока воздуха (до 4500 м3/час вместо 800-1000 м3/час от обычной решетки 600 Х 600 мм).
Установить просто вентилятор в подпольном пространстве было бы не достаточно для обеспечения гарантированного охлаждения серверных стоек. Важно правильно организовать воздушный поток как по давлению, так и по направлению воздуха, чтобы обеспечить подачу воздуха не только в верхнюю часть стойки, но и, в случае необходимости, обеспечить подачу холодного воздуха в ее нижнюю часть. Для этого панель «активного пола» помимо вентилятора, комплектуется процессором, датчиками температуры и поворотными ламелями. Важной особенностью этого изделия, является большой ресурс работы.
Устройство панели «активного пола»
1 Решетка
2а Регулируемые лопасти – Зона А
2b Регулируемые лопасти – Зона B
3 Фиксирующие скобы
4 EC вентилятор
5 Решетка подмеса воздуха
6 Электропанель
7 Контроллер
8 Датчик температуры – Зона A
9 Датчик температуры – Зона B
Ниже на картинке приводятся примеры исполнения «активного пола» для горизонтального и вертикального потоков, которые распределяется на две зоны.
Схемы решений на базе «активного пола» до 15 кВт на стойку и до 25 кВт на стойку
Применение системы «активный пол» позволяет повысить мощность тепловыделения стойки до 25 кВт!
Ниже показан пример решения с «активным полом» и «холодным бассейном».
Преимущества решения на базе «активный пол»
У любого решения есть свои плюсы и минусы. Ниже перечислим основные преимущества и недостатки «активного пола».
Недостатки
Можно составить схему поэтапного развития и модернизации дата-центра, состоящего из трех этапов:
Естественно, что дата-центр должен иметь достаточную мощность охлаждения прецизионными кондиционерами на всех этапах своего развития.