Nvidia расширила возможности своей AI-платформы Vera Rubin на конференции GTC, представив новый ускоритель Nvidia Groq 3 LPU. Этот чип специально разработан для оптимизации задач инференса и выделяется огромной пропускной способностью оперативной памяти — 150 ТБ/с благодаря встроенной 500 МБ SRAM. В отличие от традиционных ускорителей, использующих высокоплотную HBM, Groq 3 ориентирован на сверхбыструю обработку потоков данных с минимальной задержкой, что критично на передовом крае современных AI-моделей.
Платформа Rubin уже объединяет шесть различных компонентов — собственный GPU, CPU Vera, NVLink 6, ConnectX 9, Bluefield 4 и Spectrum-X. Groq 3 LPU становится седьмым элементом, способным масштабироваться в AI-центрах нового поколения, которые Nvidia называет «фабриками искусственного интеллекта». При этом, по словам представителей компании, Groq 3 может ослабить роль ускорителя Rubin CPX, который использует значительно более дорогую и энергоёмкую память GDDR7, что создаёт новый тренд в подборе архитектур памяти для AI-инференсов.
Главное отличие Groq 3 LPU — это энергоэффективность и смещение в сторону SRAM, применяемой обычно в кэшах CPU и GPU. Несмотря на низкий объём памяти по сравнению с 288 ГБ HBM4 у GPU Rubin, высокая пропускная способность SRAM многократно превосходит возможности HBM, что особенно важно для задач расшифровки и кодирования данных. Такой подход поднимает Nvidia на новый уровень в оптимизации AI-инференса с упором на своевременную выдачу токенов и интерактивность.
Новая архитектура отражает усилия Nvidia по интеграции технологий Groq, купленной в прошлом году, и демонстрирует, что будущее AI-вычислений идёт к более сложным гибридным системам, где несколько специализированных чипов работают вместе, уменьшая при этом зависимость от традиционных HBM-модулей. Эта стратегия отвечает современным вызовам ограниченной памяти при необходимости повышения вычислительной плотности и скорости.
Ещё одна интрига — использование Groq 3 LPU в связке с Groq LPX, серверным решением для масштабируемого развёртывания. Пока Nvidia не раскрывает всех подробностей, но очевидно, что интеграция этих компонентов повысит эффективность платформы Rubin, особенно в задачах инференса, где важно одновременно обеспечивать низкие задержки и высокую пропускную способность.
Отказ от усиленного использования GDDR7 в пользу SRAM может задать новый стандарт в индустрии, где стоимость и тепловыделение становятся ключевыми барьерами. В сочетании с уже используемыми CPU, GPU и специализированными сетевыми компонентами платформа Rubin с новым Groq 3 LPU подходит под концепцию «AI-фабрик» — централизованных мощных комплексов для машинного обучения и обработки данных с гладким масштабированием.
Предстоящие месяцы обещают много интересного — GTC демонстрирует, как глобальное слияние инноваций меняет подходы к аппаратному обеспечению AI. Какие ещё решения вендоры предложат, чтобы обеспечить оптимальный баланс вычислений и памяти, — вопрос открытый.
