Samsung показала LPDDR5X-PIM: память с логикой в чипе ускорила inference в 3,01 раза
Автор: Илья Игнатов Samsung на Hot Chips 2026 показала рабочую версию LPDDR5X-PIM, где к низкопотребляющей памяти добавили вычислительный блок прямо в кристалл. Компания говорит, что это ускоряет задачи ИИ за счет меньшего обмена данными с процессором.
PIM, или Processing-in-Memory, Samsung показывала и раньше, в том числе в HBM-решениях. В LPDDR5X логика расположена рядом с банками DRAM и позволяет выполнять базовые операции локально, а не гонять данные туда и обратно между памятью и внешним вычислителем.
По словам Samsung, в тестах на inference новая память оказалась в 2,28 раза быстрее обычной LPDDR5X. В токенах в секунду прирост оказался еще заметнее: 3,01 раза.
Как устроена LPDDR5X-PIM
Samsung пояснила, что у каждого банка памяти есть собственный блок PIM. Это отличается от HBM-PIM, где компании приходилось урезать банки, чтобы разместить логику. В новой схеме используются memory bank, scale register file и source register file, которые подают данные в параллельные MAC-деревья, а результат записывается в vector register file.
Память может работать в двух режимах: одиночнобанковом, как обычная DRAM, и многобанковом, где включается PIM. Для обхода проблем с переупорядочиванием запросов Samsung применяет Address Align Mode. Компания сопоставляет адреса DRAM с MAC-инструкциями и назначает адреса VRF и SRF по RA и CA, а не через Instruction Register File.
Внутри презентации Samsung показала и пример обработки. В нем 512 байт FP8-активаций разбиваются на 16 пакетов по 256 бит, затем данные читаются из банка памяти, вычисляются в MAC-деревьях и после этого возвращаются обратно в DRAM командой PIMX_WR. После завершения работы хост читает результат уже в обычном режиме.
По спецификациям Samsung, LPDDR5X-PIM использует стандартную 561-шаровую компоновку, два 64-битных ранга и модули на 16 ГБ. При этом четыре кристалла приходятся на один ранг, а всего их восемь. Главная разница с обычной LPDDR5X — пропускная способность: 76,8 ГБ/с у LPDDR5X-9600 против 614 ГБ/с у варианта с PIM.
Компания также показала предварительные замеры на edge AI-ускорителе с моделью Llama 3.1 на 8 млрд параметров. Samsung отдельно отметила, что выходные данные в тесте отличались, а над точностью она продолжает работать. При этом эффект по производительности компания ожидает сохранить.
Samsung уже смотрит и на LPDDR6X-PIM. Компания рассчитывает получить начальную спецификацию JEDEC в этом году.
