23-кратное ускорение на Nvidia B200: Vidraft показала систему VKAE для ИИ-инференса

Vidraft утверждает, что её система VKAE может ускорять инференс языковых моделей до 23 раз на уже установленном GPU — без замены серверов и без расширения парка железа. Показали это на Nvidia B200. И ещё один момент, который в таких релизах встречается нечасто: результаты, по словам компании, можно попробовать повторить через готовый контейнер с моделью и средой выполнения.

Логика тут простая и вполне рыночная. Обучение большой модели дорогое, но оно случается время от времени. Инференс же идёт без остановки: облачные ИИ-сервисы, корпоративные чат-боты, API-платформы — всё это живёт на постоянных запросах и именно они съедают основную часть операционных затрат. Поэтому уже несколько лет борьба идёт не только за размер моделей. Ещё важнее, сколько токенов можно выжать из одного ускорителя.

Vidraft говорит, что тесты запускали на Nvidia B200. Для части моделей VKAE дала кратный прирост по сравнению с базовыми системами обработки запросов, и при этом разработчики отдельно отметили, что не заметили просадки по качеству или точности ответов. Самый яркий пример — Qwen3.5-35B-A3B: при высокой конкурентной нагрузке система перевалила за 10 тыс. токенов в секунду, а в более близком к реальным запросам сценарии — с разными длинами контекста и не одним-двумя одновременными запросами — та же модель показала около 455 токенов в секунду. И вот тут как раз видно, почему красивые цифры в инференсе надо читать аккуратно: профиль нагрузки меняет картину очень сильно.

Точный механизм ускорения компания пока не раскрывает и обещает описать его позже в препринте. Зато уже сейчас предлагает контейнер, где есть и веса модели, и оптимизированная среда выполнения. VKAE совместима с OpenAI API, так что её можно встраивать в уже работающую инфраструктуру без переделки клиентской части. Для рынка это не мелочь: многие команды и так сидят на vLLM или TensorRT-LLM, а переход на новую систему обычно упирается не только в скорость, но и в стоимость самой интеграции.

Интерес к таким решениям сейчас только растёт — на фоне дефицита ускорителей и подорожания вычислений. Nvidia показала Blackwell B200 как чип для следующего витка ИИ-нагрузок, но даже новое поколение GPU не убирает спрос на программные ускорители. Отсюда и внимание к Groq, Cerebras и другим платформам, которые продают не столько обучение моделей, сколько быстрый и недорогой инференс. Если Vidraft подтвердит свои цифры в независимых тестах, у рынка будет редкий пример, когда один GPU действительно начинает выглядеть как несколько.