Обновление рейтинга ИИ опустило Kimi K3.1 Pro с 4-го места на 9-е
Компания Artificial Analysis выпустила пятую версию своего рейтинга ИИ-моделей, изменив методику оценки.

На обновлённом тесте китайская модель Kimi K3.1 Pro, которую разработала Moonshot AI, оказалась ниже, чем в предыдущей версии. При этом сама компания Moonshot ещё не открыла её веса для скачивания.
В Intelligence Index v5 Kimi K3.1 Pro заняла девятое место. В предыдущем выпуске рейтинга модель находилась на четвёртой позиции, а в тесте Terminal Bench 4.0, оценивающем работу с компьютером, занимала первое место. Если бы Moonshot выпустила веса модели вместе с анонсом, Kimi могла бы стать лидером среди открытых моделей и китайских ИИ-моделей.
Artificial Analysis назвала v5 крупнейшим обновлением индекса со времени запуска версии 4 в январе. По данным компании, 60% нового теста составляют закрытые вопросы, или «отложенные ответы», которые нельзя заранее найти в общедоступных наборах. Такой подход должен затруднить подготовку моделей к тестированию на основе старых вопросов, опубликованных, например, на GitHub и Hugging Face. Эту практику называют benchmaxxing.
Artificial Analysis отметила, что разрыв между моделями с открытыми весами и закрытыми моделями снова вырос: с трёх до 12 баллов. В предыдущей версии индекса он составлял три балла, а после удачного результата Kimi казалось, что разница сократилась до трёх. Однако Moonshot не выпускала веса Kimi K3.1 Pro, поэтому модель не стала открытой в техническом смысле. Компания обещает опубликовать веса 4 ноября.
Результаты рейтинга ИИ-моделей Intelligence Index v5
Уже на следующий день после обновления индекса появился новый лидер: Google Gemini 4 Carbon набрала 59 баллов и заняла первое место в Intelligence Index v5. Google сообщила об этом в публикации о модели, поставив результат в начало анонса. Gemini 4 Carbon также заняла второе место в Artificial Analysis Coding Agent Index, уступив Claude Opus 5.5. Google оценила модель, но не выпускала её.
Падение Kimi может объясняться не только изменением теста. Физик Стивен Хсу написал в X, что американские модели, по его мнению, опережают китайские в математике и естественных науках. Он добавил, что китайские лаборатории, с которыми он общался, не уделяли этим направлениям приоритетного внимания. Это оценка Хсу, а не вывод Artificial Analysis.
Успех Kimi вызвал обсуждение открытых весов, но не сопровождался той тревогой, которую ранее вызвал запуск DeepSeek. Anthropic предупреждала о рисках моделей с открытыми весами: по её словам, пользователи могут изменить их так, чтобы убрать отказы от выполнения запросов, почти не ухудшив возможности модели. Компания также критиковала дистилляцию, которую используют для развития возможностей открытых моделей. Глава Nvidia Дженсен Хуанг возражал, что дистилляция — это конкуренция.
Artificial Analysis — частная компания, основанная, по имеющимся сведениям, в 2023 году. Она не относится к органам стандартизации или академическим учреждениям, хотя её рейтинги заметно влияют на обсуждение ИИ-моделей.


