HBM4 знаменует собой поворотный момент в проектировании памяти с высокой пропускной способностью, поскольку позволяет заменить стандартный базовый логический кристалл на другой, специально предназначенный для определённых рабочих нагрузок или процессоров. Это прежде всего даёт компаниям, предоставляющим гипермасштабируемые вычислительные ресурсы, возможность адаптировать память к специализированным вычислительным блокам XPU, вместо того чтобы ограничиваться стандартным продуктом, доступным всем.
Это не означает появление нового унифицированного продукта, который можно будет покупать так же, как традиционные корпуса HBM. Каждое применение специализированной памяти, или cHBM, требует соглашения, определяющего, кто проектирует базовый кристалл, кто изготавливает и тестирует полупроводниковую пластину, кто интегрирует слои памяти и кто выполняет финальное тестирование. Согласно материалу, ответы будут различаться в зависимости от проекта и участвующих в нём клиентов.
Что изменилось с появлением HBM4?
Корпус HBM состоит из нескольких слоёв, большинство из которых являются кристаллами памяти, а в нижней части находится логический кристалл, отвечающий за управление, адресацию и функции контроля внутри корпуса. До HBM3 компании, выпускающие память, включая Micron, Samsung и SK hynix, проектировали и изготавливали все кристаллы, включая базовый кристалл.
В HBM4 базовый кристалл перешёл на более передовые логические технологические процессы вместо использования процесса, близкого к процессам DRAM. Вероятно, он будет изготавливаться по нормам 4 нм или более современным, тогда как сами кристаллы DRAM на эти процессы не переходят. Поэтому логический контрактный производитель может изготовить базовый кристалл, после чего компания по производству памяти соберёт корпус и протестирует его в стандартной версии.
HBM4 и последующие поколения добавляют возможность заменить этот стандартный кристалл на специализированный. Сами слои памяти при этом не обязательно изменяются; настройка сосредоточена на логике управления, интерфейсах и функциях администрирования, что позволяет адаптировать корпус к конструкции системы.
Почему специализация ориентирована на компании, предоставляющие гипермасштабируемые вычислительные ресурсы?
Использование стандартной HBM требует приобретения готовых модулей, тогда как специализация превращает получение памяти в проект разработки, требующий финансирования, команды, инструментов и времени. Поэтому компании, предоставляющие гипермасштабируемые вычислительные ресурсы, выглядят наиболее очевидными кандидатами: у них есть необходимые ресурсы, а их рабочие нагрузки искусственного интеллекта более специализированы, чем нагрузки обычных веб-серверов.
Такие компании могут выделять большие группы машин под определённый тип задач, что делает совместную настройку процессора и памяти более оправданной. Кроме того, темпы развития вычислений для искусственного интеллекта выше темпов разработки стандартов. Khurram Malik из Marvell отметил, что медленные процессы стандартизации JEDEC не соответствуют скорости, с которой действуют компании, предоставляющие гипермасштабируемые вычислительные ресурсы, поэтому специализация может дать им возможность реагировать на новые рабочие нагрузки без ожидания официального стандарта.
Компании также начали оценивать создание собственных специализированных XPU, однако это направление всё ещё находится на ранней стадии. Marvell предлагает практический пример через своё подразделение специализированных облачных вычислений: оно разрабатывает XPU для клиентов и стремится спроектировать специализированную версию HBM, способную удовлетворить требования нескольких клиентов вместо полностью отдельного решения для каждого клиента.
Что практически меняется в проектировании кристалла?
При специализации базового кристалла контроллер памяти переносится с кристалла центрального процессора внутрь базового кристалла HBM. Это требует согласовать способ соединения процессора с контроллером — например, с использованием AXI, масштабируемого интерфейса Arm, или другой методологии. Интерфейс связи между процессором и корпусом памяти также можно оптимизировать под систему.
Это изменение освобождает место на вычислительном кристалле, поскольку контроллер памяти и связанный с ним интерфейс PHY больше не должны традиционным способом передавать сигналы между отдельными кристаллами. Malik отметил, что замена DRAM PHY на интерфейс die-to-die, такой как UCIe, может сделать блок связи примерно на 70% меньше стандартного PHY, а также позволить увеличить вычислительные возможности на кристалле процессора на 25%, одновременно снизив энергопотребление и повысив общую эффективность XPU.
Специализированный базовый кристалл также может предоставить большую площадь подключения, или так называемую «береговую линию» кристалла, что позволит соединить больше корпусов HBM и увеличить доступный объём памяти для вычислительных блоков. Специализация может включать и функции надёжности, доступности и обслуживаемости, а также сбор телеметрических данных и механизмы их управления внутри системы.
Кто проектирует корпус и кто его производит?
Проектирование выглядит самым сложным этапом из четырёх: проектирования, производства и тестирования пластины, сборки и финального тестирования. Оно требует инженерной команды, инструментов и чёткого понимания того, как увеличение или изменение памяти повлияет на производительность и энергопотребление. Хотя компании по производству памяти обладают необходимой экспертизой, их ресурсы заняты удовлетворением текущего спроса, и у них может не быть специализированных команд для реализации большого числа индивидуальных проектов.
Поэтому проектированием может заниматься сам заказчик памяти, например компания, предоставляющая гипермасштабируемые вычислительные ресурсы, или бесфабричная проектная компания, такая как Marvell. Даже при повторном использовании готовых блоков проектирования по-прежнему потребуются настройка и оптимизация для каждого клиента, поскольку требования компаний, предоставляющих гипермасштабируемые вычислительные ресурсы, не совпадают.
Производство и тестирование пластины, как ожидается, будут выполняться на логическом контрактном производстве, которое может отличаться от предприятия, выпускающего стандартный базовый кристалл. Соглашение по проекту определит ответственную за сборку сторону. В стандартной HBM4 компания по производству памяти получает протестированный логический кристалл, собирает корпус и тестирует готовый продукт. В cHBM компания по производству памяти, логический контрактный производитель и специализированное предприятие могут разделить эти обязанности, либо клиент может сохранить за собой большую часть интеграции.
Недавно TSMC объявила о сотрудничестве с Winbond: Winbond поставляет кристаллы памяти, а TSMC занимается сборкой корпуса. Эта модель указывает на то, что интеграция корпусов может больше не оставаться исключительно в руках ведущих компаний по производству памяти.
Снизит ли cHBM давление, вызванное дефицитом памяти?
Synopsys не ожидает более 20 проектов в год с использованием специализированного альтернативного стекирования DRAM, что отражает ограниченность этого направления. Кроме того, cHBM не обязательно увеличивает общий рыночный спрос: совокупный спрос на память будет включать стандартные и специализированные применения, поэтому влияние будет зависеть скорее от структуры продуктов, чем от роста общего спроса.
Тем не менее получение памяти остаётся сложным: Malik отметил, что доступные производственные мощности поставщиков памяти распроданы примерно на полтора-два года вперёд, а цены растут. Планирование поставок может стать ещё более сложным, поскольку прогнозировать количество специализированных проектов и места их производства труднее, чем планировать стандартные корпуса.
Почему это развитие имеет значение?
cHBM показывает, что конкуренция в системах искусственного интеллекта связана не только с увеличением объёма памяти, но и с объединением памяти, вычислительного блока и интерфейсов в единую конструкцию. Специализированные корпуса могут попасть в центры обработки данных через год или два для проектов, находящихся сейчас в работе, однако их распространение будет по-прежнему ограничено стоимостью проектирования, доступностью инженерных команд и возможностями партнёров по сборке и тестированию. Поэтому будущее рынка, по-видимому, будет многообразным и не сведётся к единому решению, подходящему всем клиентам.