NVIDIA охолоджує дата-центри ШІ гарячою водою

Зміна підходу до теплового менеджменту в обчислювальних системах

Розвиток систем штучного інтелекту вимагає залучення колосальних обчислювальних потужностей. Сучасні графічні процесори та спеціалізовані акселератори споживають кіловати електроенергії на один чип, перетворюючи більшу частину цієї потужності на теплову енергію. Традиційні повітряні та класичні рідинні системи охолодження дата-центрів зіштовхнулися з фізичними обмеженнями, які ускладнюють подальше масштабування високощільних серверних стійок.

Компанія NVIDIA запропонувала архітектурне рішення, що змінює підхід до відведення тепла у високонавантажених ЦОД. Нова концепція передбачає циркуляцію теплоносія з температурою 45°C, що вище за показники у стандартних гідромасажних ваннах. Використання теплоносія такої температури дозволяє відмовитися від енергоємних чилерів і мокрих градирень, суттєво спрощуючи інфраструктуру майданчиків.

Фізичні принципи охолодження гарячим теплоносієм

На перший погляд використання теплої або гарячої води для охолодження електронних компонентів здається парадоксальним. Проте ефективність тепловідведення визначається різницею температур між компонентом та охолоджувачем, а також теплоємністю середовища. Вода передає тепло набагато ефективніше за повітря, що дає змогу підтримувати робочі температури кристалiв у безпечних межах навіть за відносно високої температури самого теплоносія.

Конструкція розрахована на використання замкнутого первинного та вторинного контурів. Усередині серверного вузла рідина безпосередньо контактує з теплознімачами, які встановлені на графічних процесорах, центральних процесорах та модулях пам’яті HBM. Далі нагрітий теплоносій спрямовується до зовнішніх теплообмінників.

Архітектура системи та відмова від випарних веж

Головною перевагою нової системи є можливість застосування сухих градирень (сухоохолоджувачів або dry coolers). Оскільки температура рідини на виході з сервера досягає високих показників, різниця між нею та навколишнім повітрям залишається достатньою для ефективного розсіювання тепла навіть у спекотні літні дні без додаткового охолодження води.

• Відсутність споживання води. Традиційні дата-центри витрачають мільйони літрів прісної води на добу через випаровування у градирнях. Замкнутий контур повністю усуває постійні витрати водних ресурсів.
• Скорочення витрат на інфраструктуру. Відмова від фреонових чилерів знижує капітальні витрати на будівництво об’єкта та зменшує складність технічного обслуговування.
• Підвищення коефіцієнта PUE. Зменшення енергоспоживання допоміжними системами охолодження дозволяє наблизити коефіцієнт ефективності використання енергії до ідеальних значень.

Порівняння параметрів систем охолодження

Для розуміння технологічного стрибка варто порівняти ключові метрики традиційних та нових підходів до охолодження серверного обладнання.

Захист від корозії та витікань у рідинних контурах

Використання гарячого теплоносія накладає підвищені вимоги до матеріалів та хімічного складу робочої рідини. При підвищених температурах корозійні процеси прискорюються, а ймовірність утворення відкладень зростає. Щоб запобігти деградації компонентів, NVIDIA застосовує спеціалізовані суміші на основі води та пропіленгліколю з додаванням інгібіторів корозії.

Конструктивні заходи безпеки

Модулі рідинного охолодження оснащуються герметичними швидкорознімними з’єднаннями безкраплинного типу (No-Drip Quick Disconnects). Це дозволяє проводити гарячу заміну серверних лез або окремих компонентів без зупинки всієї системи та ризику потрапляння рідини на струмопровідні елементи.

1. Двоконтурна система виявлення витоків з оптичними та електричними датчиками уздовж усього трасування труб.
2. Моніторинг тиску та швидкості потоку рідини в режимі реального часу.
3. Автоматична ізоляція пошкодженої ділянки за допомогою керованих клапанів у разі позаштатної ситуації.

Вплив на проектування дата-центрів майбутнього

Перехід на охолодження гарячим теплоносієм змінює вимоги до географічного розміщення дата-центрів. Раніше великі обчислювальні комплекси намагалися будувати в північних регіонах із холодним кліматом для використання вільного повітряного охолодження (free cooling). Нова технологія робить дата-центри менш залежними від зовнішньої температури повітря, що дозволяє зводити їх у регіонах із теплим кліматом поруч із джерелами відновлюваної енергії.

Крім того, висока температура рідини на виході з сервера відкриває можливості для ефективної утилізації вторинного тепла. Отриману теплову енергію можна спрямовувати на опалення житлових кварталів, промислових об’єктів або використання у технологічних процесах суміжних підприємств, що додатково підвищує загальну екологічність обчислювальної інфраструктури.