Наращивание возможностей искусственного интеллекта в центрах обработки данных больше не связано только с количеством процессоров и ускорителей, а зависит от того, как эти ресурсы распределяются и подключаются к остальным компонентам системы. В статье предлагается гибридная концепция, сочетающая сохранение части ресурсов в непосредственной близости от процессора, масштабирование других ресурсов между несколькими серверами и совместное использование дорогостоящих ресурсов, таких как графические процессоры и накопители NVMe, через общую инфраструктуру.
PCI Express, или PCIe, играет в этой концепции ключевую роль, поскольку предоставляет развитую аппаратно-программную экосистему для подключения процессоров, графических процессоров, ускорителей, модулей SmartNIC или DPU и накопителей. Однако рост скоростей передачи и увеличение числа подключённых устройств создают проблемы, выходящие за рамки простого добавления портов; именно здесь проявляются комплексные функции коммутаторов PCIe и ретаймеров.
Три модели распределения ресурсов
Модель масштабирования внутри системы, или Scale-up, обеспечивает максимальную близость между процессором и ускорителями и поэтому подходит для чувствительных к задержке нагрузок искусственного интеллекта. Однако эта модель сталкивается с ограничениями по числу линий процессора, размерам корпуса, требованиям к питанию и охлаждению, а также по числу устройств, которые способен вместить сервер.
Масштабирование между серверами, или Scale-out, распределяет производительность между несколькими узлами с использованием Ethernet или InfiniBand. Это позволяет наращивать кластеры, но добавляет задержку и требует программного обеспечения, способного координировать данные и нагрузки между узлами.
В свою очередь, декомпозированная инфраструктура отделяет определённые ресурсы, такие как графические процессоры, накопители или модули SmartNIC и DPU, от принадлежности одному серверу, делая их доступными через общую фабрику. Это может повысить эффективность использования ресурсов и обеспечить независимое масштабирование вычислительных ресурсов и конечных точек, но добавляет вопросы конкуренции за ресурсы, изоляции, управления и задержки.
Поэтому статья не представляет ни одну из этих моделей как универсальную замену другим. Практическое решение заключается в определении ресурсов, которые должны оставаться локальными, ресурсов, которые следует распределить между серверами, и ресурсов, совместное использование которых между несколькими системами оправдывает затраты.
Что даёт PCIe 7.0?
PCIe 7.0 вдвое увеличивает исходную скорость передачи на линию по сравнению с PCIe 6.x — до 128 GT/s, обеспечивая до 512 гигабайт в секунду двунаправленной пропускной способности при использовании конфигурации x16. Это увеличение предоставляет больше возможностей для размещения растущего числа ускорителей и платформ с интенсивным обменом данными при сохранении обратной совместимости с более широкой экосистемой PCIe.
Тем не менее одной лишь более высокой скорости недостаточно для построения масштабируемой системы. Повышение скорости передачи сигналов усложняет обработку потерь в канале, отражений, перекрёстных помех, шума и джиттера. PCIe 5.0 и PCIe 6.x также остаются важными компонентами существующих инфраструктур, поэтому совместимость между поколениями является практическим фактором при проектировании систем.
Коммутатор PCIe для масштабирования и управления трафиком
Коммутатор PCIe принимает транзакции, определяет их назначение и передаёт их между восходящими и нисходящими портами. Благодаря этому он может увеличить число точек подключения, поддерживать более гибкие инфраструктуры и обеспечивать прямые каналы связи между подключёнными устройствами.
Однако количество портов и максимальная скорость сами по себе не определяют фактическую производительность. Когда графические процессоры, накопители и управляющий трафик конкурируют за одну и ту же пропускную способность, на доступную производительность влияют механизмы арбитража, буферизация, управление кредитами, политики оверсабскрипции и предотвращение блокировки в начале очереди. Кроме того, каждый дополнительный переход через коммутатор может увеличивать задержку и создавать новую точку конкуренции.
Возможность конфигурирования особенно важна для команд, проектирующих микросхемы, поскольку в рамках одной архитектуры коммутатора можно поддерживать различные варианты портов, варианты восходящих портов, разное количество конечных точек и несколько моделей трафика.
Ретаймеры для решения проблем расстояния и качества сигнала
Когда ресурсы удаляются от процессора — через более длинные трассы на плате, разъёмы, кабели или расширительные корпуса, — электрический канал становится более сложным. Ретаймер восстанавливает тактовый сигнал и данные, завершает один электрический сегмент, а затем повторно передаёт чистый сигнал в следующий сегмент.
Эти компоненты предоставляют разработчикам больше гибкости при размещении устройств, но не делают расстояние неограниченным. Каждый сегмент с ретаймингом требует проектирования и тестирования с учётом задержки, энергопотребления, тепловыделения, эквализации, диагностики и совместимости между процессорами и конечными точками, PHY-интерфейсами, разъёмами, кабелями и встроенным программным обеспечением.
Что следует измерить перед выбором решения?
Статья рекомендует начинать оценку с рабочей нагрузки и топологии, отражающих реальное использование, а не с общего списка характеристик. Командам следует определить требуемые пропускную способность и задержку, количество входящих и исходящих соединений, уровень оверсабскрипции, структуру трафика, потери в канале, энергопотребление, управляемость и цели по совместимости.
С этой точки зрения коммутаторы PCIe обеспечивают масштабируемость и маршрутизацию трафика, тогда как ретаймеры увеличивают пригодную для использования дальность и сохраняют целостность сигнала. В статье решения Rambus для коммутаторов PCIe и контроллеров ретаймеров упоминаются как строительные блоки для реализаций на ASIC и FPGA, однако практическая ценность определяется не столько названием компонента, сколько его соответствием рабочей нагрузке, топологии и электрическим ограничениям системы.
Редакционный комментарий: фактическое изменение здесь заключается не в выпуске нового стандарта или продукта, а в переходе от вопроса о максимальной скорости к балансированию близости, масштабируемости, эффективности использования ресурсов и качества сигнала при принятии решений по проектированию инфраструктуры искусственного интеллекта. Основные ограничения остаются очевидными: с увеличением числа переходов и общих компонентов растут сложность управления, конкуренция и задержка; кроме того, поскольку статья представляет собой спонсируемый блог Rambus, она рассматривает вопрос с маркетинговой точки зрения и не содержит независимых результатов измерений или сравнения поставщиков.