SK hynix и SanDisk показали первую техническую спецификацию HBF — нового типа памяти, который они хотят поставить между NAND и HBM. Это всё ещё флеш-память на базе NAND, но с гораздо большей плотностью и почти на уровне HBM по пропускной способности.
Она не должна заменять HBM. В ускорителях ИИ эти два типа памяти, по задумке, будут работать вместе: HBM — там, где важны задержки, HBF — как большой запас под веса моделей и вспомогательные данные.
Инициатива уже вышла за пределы двух компаний. К Open Compute Project подключились Google и Tensorrent, так что вокруг HBF начинают собирать не только спецификацию, но и всю обвязку. Это, пожалуй, важнее самого названия: в ИИ-серверах сейчас упираются не только в скорость, но и в объём памяти, который можно поставить без заметного роста цены системы.
Главное отличие HBF от привычной серверной памяти в том, что она строится на NAND, а не на DRAM. За счёт этого разработчики рассчитывают получить кратный рост ёмкости при той же полосе пропускания, на которую ориентируется HBM, и без того ценника, который обычно у топовой высокоскоростной памяти.
Идея ложится в общий тренд рынка. Производители ускорителей ИИ ищут способы расширить память рядом с чипом, не раздувая энергопотребление и себестоимость. Поэтому любые альтернативы HBM сразу привлекают внимание: HBM всё ещё дефицитная и дорогая вещь, особенно если речь о больших кластерах.
SK hynix и SanDisk говорят, что образцы HBF могут появиться до конца этого года. Первые устройства с новой памятью компании ждут уже в следующем году, если разработка не упрётся в совместимость и готовность производства.
И вот тут начинается самое интересное — проверка на скорость стандартизации. Если вокруг HBF удастся собрать не только Hynix, SanDisk и несколько облачных игроков, но и производителей платформ, у памяти появится шанс выйти из лабораторного режима быстрее, чем это обычно бывает с новыми форматами в серверном железе.