Учёные из Японии и Южной Кореи придумали замену привычной HBM-памяти, которая сейчас кормит данными ИИ-ускорители и тяжёлые GPU. Вместо вертикальной «башни» из DRAM-кристаллов они предлагают ставить чипы на ребро и собирать из них плотный объёмный блок. Так пытаются одновременно снять три узких места: пропускную способность, ёмкость и нагрев.
Причина для таких экспериментов вполне приземлённая. Ускорители уже давно упираются в память не меньше, чем в вычисления. У Nvidia H100, например, до 80 Гбайт HBM3, у более новых систем растут и объём, и пропускная способность, но вместе с ними лезут вверх тепловые ограничения. Чем выше стек HBM, тем труднее уводить тепло от верхних слоёв: между кристаллами остаются прослойки материала с не самой лучшей теплопроводностью.
Обычная HBM устроена как стопка DRAM-кристаллов на базовом кристалле, а связь внутри держится на TSV-соединениях. Схема неплохо масштабировалась несколько поколений подряд. Сейчас у неё уже виден потолок. SK hynix, Samsung и Micron дошли до 12- и 16-слойных сборок HBM, и каждый следующий слой обходится дороже и греется сильнее.
На июньском симпозиуме IEEE VLSI исследователи показали два варианта новой компоновки. В обоих случаях массив памяти фактически кладут на бок. Базовый кристалл убирают, а каждый DRAM-чип получает собственные контакты ввода-вывода и питания на нижней грани, чтобы подключаться напрямую к подложке рядом с GPU или ИИ-ускорителем.
Первую концепцию назвали V-Die. Её делали вместе с UNIST и Hanbat National University. Авторы предлагают не только развернуть кристаллы на 90 градусов, но и пустить между ними микрофлюидные каналы с хладагентом. За счёт этого должен заметно улучшиться отвод тепла, а отказ от TSV освобождает место под сами ячейки памяти.
По расчётам, V-Die даёт примерно в четыре раза больше соединений, чем HBM4. Время чтения сокращается на 37 %. В модели системы уровня Nvidia H100, где нагрузка была похожа на большую языковую модель масштаба GPT-3, такая память выдавала 540 токенов в секунду против 296 токенов в секунду у HBM4 при той же ёмкости. Задержка до первого токена падала на 32 %, то есть примерно до 24 мс, а температура держалась около 45 °C вместо пиков свыше 80 °C, которые для обычной HBM под нагрузкой уже привычны.
Но у V-Die почти сразу всплыло слабое место. Подвести контакты к рёбрам такого «куба» с нужной точностью очень сложно, особенно если речь идёт о массовом производстве. Ошибка в несколько микрон тут уже не мелочь, а брак. Для лабораторного макета это досадно, для конвейера — почти приговор.
Японская группа из University of Tokyo, Tohoku University и RIKEN предложила другой вариант — MOSAIC. Здесь жёсткие контакты оставляют только для питания, а данные и управляющие сигналы передают бесконтактно, через индуктивную связь. На кристаллах размещают вытянутые катушки размером около 80 × 240 мкм, на подложке — ответные катушки под прямым углом. Передача идёт через магнитное поле, так что уже не нужна ювелирная точность при совмещении элементов.
По оценке авторов, в один куб MOSAIC можно уложить 98 кристаллов и получить 294 Гбайт памяти. Если уменьшить толщину DRAM-кристалла до 100 мкм, предел поднимается до 294 кристаллов и 882 Гбайт в том же объёме. Расчётная пиковая температура в такой конфигурации — 81,3 °C. Это не прохладный вариант, но для памяти такой плотности цифра выглядит вполне рабочей.
К таким схемам интерес будет только расти: дефицит HBM уже стал обычной отраслевой головной болью. По оценкам TrendForce, спрос на память для ИИ-систем несколько кварталов подряд обгоняет предложение, а цена HBM всё ещё заметно выше обычной DRAM. Если хотя бы одна из этих «боковых» компоновок дойдёт до промышленной упаковки, у производителей ускорителей появится способ нарастить объём памяти без бесконечного роста площади и числа стеков рядом с чипом. Проверка, впрочем, будет уже не на слайдах, а на первых образцах с настоящим GPU.