Центры обработки данных приступают к перепроектированию своей инфраструктуры, чтобы разместить стойки, способные потреблять до одного мегаватта, на фоне роста рабочих нагрузок искусственного интеллекта, которые становятся более постоянными и энергоемкими. Однако эта тенденция не разрешает спор о наилучшем способе масштабирования: следует ли размещать больше вычислительных модулей в стойках сверхвысокой плотности или перераспределять вычисления по более рассредоточенной архитектуре?
По мнению Semiconductor Engineering, переход к стойкам мощностью в мегаватт заключается не только в увеличении числа ускорителей, но и требует фундаментальных изменений в охлаждении, подаче энергии, проектировании стоек, сетевом соединении и трехмерной упаковке интегральных схем. Одновременно оптика, специализированные чипы и распределенные вычисления могут уменьшить необходимость концентрировать всю эту мощность в одном месте.
От контейнера для серверов к интегрированной вычислительной системе
Google, Meta и Microsoft работают в рамках проекта Mount Diablo OCP, построенного на базе платформы Diablo, с целью разработки стандартов, поддерживающих стойки мощностью в мегаватт. Сотрудничество охватывает такие элементы, как механическая конструкция стоек, охлаждение, управление жидкостями, движение воды и источники питания, при этом каждый облачный провайдер сохраняет собственный путь реализации.
Arif Khan из Cadence отмечает, что стойка больше не является просто пассивной конструкцией, вмещающей набор серверов. Рост плотности вычислений и числа электрических и сигнальных соединений, наряду с увеличением размеров и энергопотребления GPU-модулей, превращает стойку в интегрированный объект проектирования, включающий жидкостное охлаждение, полки питания, шины питания, сетевые коммутаторы и управление системой. Такой подход реализован в платформах уровня стойки, например Nvidia DGX.
Google предлагает распределение энергии постоянным напряжением ±400 вольт внутри центра обработки данных, используя технологии и опыт, разработанные для индустрии электромобилей. Повышение напряжения распределения помогает снизить ток, потери и сложность кабелей при работе с мощностью до одного мегаватта.
На механическом уровне конструкция Open Rack Wide, или ORW, расширяет возможности архитектуры Open Compute Project для размещения более крупных, тяжелых и энергоемких систем искусственного интеллекта. Ширина ORW примерно вдвое превышает ширину стойки ORV3, а конструкция усилена дополнительными элементами. AMD использует этот подход в архитектуре Helios, основанной на спецификации ORW, которую Meta представила OCP в 2025 году, тогда как Nvidia размещает системы DGX уровня стойки в рамках более традиционных габаритов стоек.
Трехмерная упаковка и энергетические проблемы
Чем выше плотность, тем важнее становится проектирование 3D-IC. В статье приводятся слова Daniel Wilkinson из Synopsys о том, что крупные облачные провайдеры изучают укладку вычислительных кристаллов, включая такие варианты, как увеличение числа кристаллов на интерпозере или укладка двух кристаллов друг на друга. Однако такие архитектуры усложняют механическую конструкцию, создают проблемы с производственной годностью и затрудняют передачу данных на большие расстояния.
Решения могут различаться в зависимости от характера процессора. Некоторые конструкции, например TPU от Google, используют крупную вычислительную матрицу, тогда как другие ориентируются на большее число небольших ядер по принципу GPU. Это приводит к различиям в методах укладки, требованиях к адресации соединений и базовой IP.
Плотность мощности в стойках выросла примерно с 4 киловатт 20 лет назад до более чем 100 киловатт сегодня, согласно Steven Woo из Rambus. При переходе от 12 вольт к 48 вольтам и, возможно, к 480 или 800 вольтам ту же мощность можно передавать при меньшем токе, что снижает необходимость в более толстых медных проводниках.
Christian Hoefling из Infineon Technologies предупреждает, что к концу этого десятилетия пиковый ток для отдельных GPU может достигать 10 000 ампер на модуль по сравнению с гораздо меньшими диапазонами в прежних CPU-системах. Поскольку потери энергии пропорциональны квадрату тока, удвоение тока при неизменном сопротивлении соединения приводит к значительному росту потерь. Поэтому, как ожидается, центры обработки данных гигаваттного масштаба перейдут на высоковольтное распределение постоянного тока, чтобы сократить число этапов преобразования энергии и упростить ее подачу к стойкам.
Является ли стойка с более высокой плотностью единственным путем?
Не все участники дискуссии считают увеличение мощности стойки лучшим путем масштабирования. Steve Roddy из Quadric полагает, что сочетание более специализированных чипов с возвращением к некоторым формам распределенных вычислений может снизить плотность энергии в центрах обработки данных. Специализированные для обучения или инференса чипы способны обеспечить более высокий уровень инференса на ватт, а генерацию токенов можно распределить между миллионами домов и компаний параллельно с централизованными моделями.
Ayar Labs, по словам Vishal Chandrasekar, рассчитывает на то, что стойки мощностью в мегаватт не получат широкого распространения. Вместо того чтобы держать GPU-модули близко друг к другу и полагаться на медь, можно использовать оптическое соединение для расширения диапазона связи внутри домена масштабирования до 500 000 или более модулей. Это позволяет распределить GPU-модули по целому ряду стоек — например, оставить каждую стойку на уровне 200 киловатт и оптически соединить десять стоек — с достижением примерно сопоставимой производительности со стойкой или стойками большей мощности, без полной перепланировки распределения энергии и несущей способности полов каждые два года.
Снижение плотности стойки не означает, что увеличение числа ускорителей гарантирует лучшую производительность. Эффективность соединения, пропускная способность памяти, задержка, эффективность коллективных операций и совместимость имеют решающее значение для того, чтобы тысячи GPU работали как согласованная система. Здесь важную роль играют открытые стандарты соединения для масштабирования, такие как UALink.
Агентные рабочие нагрузки оказывают давление на проектирование и сроки
Длительно работающие агентные рабочие нагрузки искусственного интеллекта заставляют проектировщиков отказываться от предположений, основанных на среднем потреблении, и учитывать прерывистые пики. Sathishkumar Balasubramanian из Siemens EDA говорит, что для некоторых таких рабочих нагрузок необходимо предполагать режим работы, близкий к пиковой мощности постоянно, при тщательном анализе энергии и тепла. Нерегулярное, а иногда и круглосуточное использование также требует проектировать всю систему энергоснабжения и охлаждения под этот сценарий.
Частые переключения контекста и требования к сохранению, приостановке и восстановлению моделей повышают значимость скорости системы. В то же время архитектуры с уложенными друг на друга кристаллами и плотными преобразованиями затрудняют понимание тепловой карты и физических эффектов во время верификации и реализации.
Это происходит одновременно с сокращением рыночного окна. Manmeet Walia из Synopsys говорит, что у некоторых продуктов есть всего один год для перехода к производству, тогда как спецификации утверждаются в течение периода от 1,5 до 2 лет. Разработка тестовых чипов для новых технологий, таких как HBM, и совместная упаковка с памятью занимают месяцы цикла разработки. Стоимость программ ускорителей может достигать одного миллиарда долларов, что делает использование непроверенного или неутвержденного IP серьезным риском.
Фрагментация решений вместо единой архитектуры для всех
В статье рассматривается вероятность того, что не все рабочие нагрузки инференса будут выполняться на стойке мощностью в мегаватт. Средние модели могут составлять основную часть нагрузок инференса, тогда как операции обучения и более крупные модели потребуют иной архитектуры. Облачные провайдеры также могут опираться на несколько платформ, включая продукты Nvidia или AMD и специализированные внутренние архитектуры.
Уилкинсон отмечает, что учреждения не обязательно будут устанавливать стойку весом три тонны и потребляющую 500 киловатт в локальных технических помещениях, что открывает возможности для решений, работающих в пределах возможностей местных площадок и рассчитанных не только на большие языковые модели. Вывод статьи заключается в том, что мегаваттная стойка — это не проблема отдельных стоек, а проблема интеграции системы, простирающейся от электросети до чипа, от чипа до охладителя и от одного ускорителя до другого.