Яндекс показал на ICML ускорение обучения ИИ до 8,5 раза

Яндекс привёз на ICML 2026 в Сеул сразу несколько исследований про узкие места современного ИИ: обучение больших моделей, расход памяти видеокарт, работу с графами и нехватку размеченных данных. Все работы компании взяли в основную программу конференции, а одна получила статус Spotlight. В этом году его дали только 536 заявкам из 23 918 — это 2,2%.

Самая заметная цифра в пакете Яндекса — про графовые нейросети. Исследователи собрали программные модули, которые в экспериментах ускорили вычисления до 8,5 раза и снизили пиковое потребление памяти до 76 раз. Для индустрии это не абстрактная история: такие модели используют в рекомендательных системах, поиске, логистике и анализе дорожных сетей. И если память экономится, на одном GPU-сервере можно держать больше задач.

Другая работа — про обучение больших языковых моделей при конвейерном параллелизме, когда часть ускорителей просто ждёт остальные. Команда Яндекса пишет, что смогла убрать нестабильность асинхронного обучения за счёт подбора оптимизатора и дополнительной коррекции обновлений. В тестах на MoE-моделях с 10 млрд параметров подход дал то же качество, что и синхронное обучение. Такие архитектуры сейчас используют многие — от Mistral до Google: они позволяют раздувать размер модели без пропорционального роста вычислений на каждый токен.

Ещё два алгоритма, SoftSignum и SoftMuon, по данным компании стабильно обошли ряд распространённых методов, включая AdamW, который давно считается стандартом для обучения трансформеров. А модель GraphPFN, заранее обученная более чем на 1,6 млн синтетических графов, показала высокое качество даже без донастройки. После адаптации она обошла другие рассмотренные подходы на большинстве реальных датасетов.

Часть работ Яндекса касается не только скорости, но и цены разработки. Вместе с партнёрами компания предложила метод обучения в ситуации, когда размеченных данных мало, а неразмеченных — много. Это особенно полезно для медицины и промышленности, где ручная разметка требует дорогих специалистов. Ещё один метод рассчитан на поисковые и рекомендательные системы: он заранее отбирает наиболее подходящих кандидатов для точной оценки и за счёт этого снижает вычислительные затраты.

ICML вместе с NeurIPS и ICLR входит в тройку самых заметных мировых конференций по машинному обучению, и попасть туда для лабораторий — это уже не только про теорию, но и про инженерную форму. На фоне дефицита дорогих ускорителей и роста расходов на обучение ИИ работы про память, простой GPU и сокращение ручной разметки быстро переходят из статей в вполне прикладные инструменты.