Дата-центр Z.AI на 1 ГВт без чипів Nvidia

Зміна парадигми на ринку апаратного забезпечення

Створення масштабної обчислювальної інфраструктури для штучного інтелекту традиційно асоціювалося з продукцією однієї американської компанії. Проте китайська дослідницька лабораторія Z.AI, відома також як Zhipu AI, офіційно завершила розгортання нового центру обробки даних загальною потужністю 1 ГВт. Головна технічна особливість цього об’єкта полягає у повній відсутності апаратних прискорювачів від Nvidia. Вся архітектура побудована виключно на базі вітчизняних китайських напівпровідникових рішень, що є важливим прецедентом для всієї технологічної індустрії. Цей крок засвідчує серйозні зрушення у глобальному ланцюжку постачань високотехнологічного обладнання.

Реалізація такого проєкту демонструє здатність китайських інженерів проєктувати, будувати та вводити в експлуатацію обчислювальні кластери надвисокої щільності в умовах жорстких експортних обмежень з боку США. Дата-центр об’єднує кілька автономних сегментів, кожен з яких містить понад 10 000 спеціалізованих процесорів. Це дозволяє компанії навчати передові моделі з сотнями мільярдів параметрів, забезпечуючи необхідну пропускну здатність та стабільний рівень синхронізації даних на апаратному рівні. Успішний запуск такого комплексу доводить, що альтернативні кремнієві екосистеми здатні задовольняти найвищі вимоги індустрії штучного інтелекту.

Експортні обмеження як стимул для інновацій

Протягом останніх років уряд США запровадив низку суворих експортних обмежень, які унеможливили постачання високопродуктивних графічних процесорів, таких як A100 або H100, на територію Китаю. Першочергово ці заходи мали на меті стримати розвиток китайського сектору машинного навчання. Натомість обмеження спрацювали як потужний стимул для внутрішніх інвестицій у розробку альтернативних архітектур. Компанії були змушені переглянути свої стратегії та звернутися до внутрішніх ресурсів, що значно прискорило розвиток локальних технологічних компаній.

Лабораторія Z.AI замість спроб обійти санкції через сірі схеми постачання, інвестувала ресурси у створення інфраструктури, яка повністю спирається на локальних постачальників. Це рішення дозволило не лише уникнути ризиків, пов’язаних з логістикою іноземних компонентів, але й оптимізувати апаратне забезпечення під конкретні завдання компанії, пов’язані з тренуванням великих мовних моделей. Такий підхід забезпечує більший контроль над життєвим циклом обладнання та незалежність від зовнішньополітичних факторів.

Інженерні рішення гігаватного масштабу

Проєктування центру обробки даних потужністю 1 ГВт вимагає вирішення безпрецедентних інженерних завдань. Такий обсяг енергоспоживання можна порівняти з потребами невеликого міста. Для забезпечення стабільної роботи інфраструктури Z.AI інтегрувала новітні системи розподілу живлення та управління тепловиділенням. Масштаб проєкту вимагав розробки нових стандартів прокладання кабельних трас та організації безперебійного живлення на рівні кожної окремої серверної стійки.

Енергетична інфраструктура та рідинне охолодження

Традиційні системи повітряного охолодження не здатні ефективно відводити тепло від стійок з високою щільністю ШІ-прискорювачів. Тому в новому дата-центрі масово застосовуються технології прямого рідинного охолодження. Спеціальний теплоносій циркулює безпосередньо через радіатори, встановлені на процесорах, що дозволяє підтримувати оптимальні температурні показники навіть при пікових навантаженнях. Це не тільки запобігає перегріву, але й значно подовжує термін служби кремнієвих кристалів.

Система живлення побудована за принципом глибокого резервування. Використання інтелектуальних блоків розподілу живлення дозволяє динамічно перерозподіляти навантаження між різними кластерами залежно від поточних завдань, мінімізуючи втрати електроенергії та підвищуючи загальний показник енергоефективності PUE (Power Usage Effectiveness) об’єкта до рекордно низьких значень.

Архітектура апаратних кластерів

Основою обчислювальної потужності системи стали китайські прискорювачі нейронних мереж. Аналітики ринку вказують на масове використання процесорів серії Huawei Ascend 910B як найбільш імовірного базового компонента. Ці процесори розроблені спеціально для завдань глибокого машинного навчання, мають тензорні ядра власної архітектури та є прямими конкурентами західних аналогів у сегменті тренування великих масивів даних.

Для ефективного об’єднання десятків тисяч чипів у єдину обчислювальну мережу інженери відмовилися від закритого протоколу InfiniBand на користь оптимізованої версії RoCEv2 (RDMA over Converged Ethernet). Це забезпечує високошвидкісну передачу даних з мінімальними затримками безпосередньо в оперативну пам’ять сусідніх вузлів в обхід центрального процесора. Ця технологія є критично важливою для мінімізації часу очікування під час розподіленого навчання нейромереж.

Формування незалежної програмної екосистеми

Апаратне забезпечення є лише фундаментом інфраструктури. Історично головною перевагою рішень Nvidia була екосистема CUDA, яка стала індустріальним стандартом. Для ефективного використання китайських чипів інженери Z.AI мали розробити та адаптувати потужний програмний стек, здатний перекладати складні математичні операції на архітектуру вітчизняних тензорних ядер без втрати продуктивності.

Адаптація середовища CANN

Спеціалісти лабораторії інтегрували власні рішення з відкритими фреймворками та середовищем CANN (Compute Architecture for Neural Networks). Цей програмний стек включає спеціалізовані інструменти для автоматичного розподілу навантаження між тисячами вузлів, інноваційні механізми стиснення градієнтів під час синхронізації та розумні системи ізоляції несправних сервісів.

Якщо під час навчання один з чипів виходить з ладу, система здатна ізолювати його, перерозподілити навантаження на сусідні вузли та продовжити процес без повної зупинки кластера. Результати тривалих стрес-тестів підтвердили, що інфраструктура здатна працювати стабільно протягом багатьох тижнів безперервного екстремального навантаження, що необхідно для тренування сучасних LLM.

Навчання моделей серії GLM

Уся ця гігантська інфраструктура побудована з чіткою метою – прискорення розробки та навчання мовних моделей серії General Language Model (GLM). Лабораторія Z.AI вже довела конкурентоспроможність своїх алгоритмів, випустивши моделі, які за багатьма бенчмарками наближаються до передових західних аналогів. Наявність власних обчислювальних потужностей дозволить компанії значно пришвидшити цикл випуску нових версій.

Паралелізм на рівні конвеєра

Використання кластерів на понад 10 000 вузлів дозволяє різко скоротити час тренування моделей з понад 500 мільярдами параметрів. Збільшена пропускна здатність внутрішньої мережі дає змогу використовувати більші розміри батчів та ефективніше паралелити обчислення як на рівні тензорів, так і на рівні конвеєра (pipeline parallelism). Алгоритми автоматично визначають оптимальний спосіб розбиття графа обчислень для максимального завантаження кожного доступного ядра.

Успішний запуск навчальних сесій на новому дата-центрі доводить, що апаратне відставання у сфері літографії частково компенсується масштабними горизонтальними зв’язками, продуманою архітектурою мережі та глибокою оптимізацією програмного коду під конкретні завдання.

Глобальні економічні наслідки

Запуск обчислювального об’єкта такого масштабу без компонентів домінуючого американського постачальника має далекосяжні наслідки для всієї глобальної індустрії напівпровідників. Це сигнал для інших країн про можливість побудови суверенної цифрової інфраструктури.

• Диверсифікація ринку Успіх проєкту стимулює інші великі технологічні компанії інвестувати у власні розробки процесорів, зменшуючи залежність від монополістів.
• Стимулювання конкуренції Поява сильних гравців у сфері апаратного забезпечення для ШІ змусить існуючих лідерів знижувати ціни та прискорювати інновації.
• Нові галузеві стандарти Досвід побудови гігаватних систем з рідинним охолодженням та використанням RoCE-мереж формує нові галузеві стандарти проєктування дата-центрів майбутнього.

У довгостроковій перспективі поява потужних альтернативних екосистем сприятиме зниженню цін на обчислювальні потужності та подальшому вдосконаленню архітектур ШІ-процесорів за межами традиційних платформ. Проєкт Z.AI є лише першим кроком у формуванні біполярного світу в індустрії штучного інтелекту, де домінування однієї архітектури поступово відходить у минуле.