Nvidia расширила NVLink Fusion памятью NVHBM для полузаказных AI-систем

Nvidia расширила платформу NVLink Fusion, добавив в нее технологию NVHBM для полузаказной AI-инфраструктуры. Компания заявляет, что новый подход повысит производительность и эффективность XPU-систем за счет памяти с более высокой пропускной способностью.

NVHBM основана на той же технологии, которую Nvidia собирается использовать в будущих GPU. В этой схеме собственный контроллер памяти компании размещается в базовом слое HBM, а не на кристалле XPU. Nvidia говорит, что это дает до 30% более высокую пропускную способность памяти, на 15% снижает энергопотребление HBM и освобождает до 25% площади вычислительного кристалла. Компания сравнивает это со стандартной HBM4E. Ранее Nvidia запустила платформы для AI-инфраструктуры.

Компания также заявила, что готовит стандартную реализацию NVHBM, которую смогут предлагать несколько поставщиков памяти. По словам Nvidia, это упростит интеграцию и квалификацию памяти для партнеров NVLink Fusion и сократит объем инженерной работы перед запуском собственных AI-чипов.

NVLink Fusion и партнеры

Nvidia позиционирует NVLink Fusion как платформу, которая позволяет подключать собственные XPU и CPU к ее rack-scale-архитектуре. Партнерам доступны NVLink chiplets, NVLink-C2C, NVLink Switches, системы и стойки MGX, а также экосистема производителей CPU, ASIC, систем и технологий.

Первой с NVHBM будет работать Amazon Annapurna Labs. Подразделение займется технологией в рамках сотрудничества с Nvidia вокруг NVLink Fusion и поддержит ее в своих чипах Trainium следующего поколения, начиная с Trainium4. Nvidia и Amazon связывают это с общей rack-scale-архитектурой, которая позволит чипам Amazon и GPU Nvidia работать вместе.

«NVHBM represents a new architectural approach to advancing high-bandwidth memory performance and efficiency,» said Nafea Bshara, vice president of Annapurna Labs at Amazon. «We look forward to this technology collaboration to benefit future AWS infrastructure designs.»

Nafea Bshara, vice president of Annapurna Labs at Amazon

Nvidia называет NVLink Fusion частью своей rack-scale-системы, которую предлагается использовать вместе с существующим технологическим стеком для масштабирования и программного обеспечения. В компании считают, что такая схема поможет hyperscalers и AI-native-компаниям сосредоточить ресурсы на разработке собственных XPU, не собирая инфраструктуру с нуля.