OpenAI заявила, что SWE-Bench Pro, один из самых заметных бенчмарков для оценки ИИ-моделей в программировании, даёт искажённый сигнал о реальных возможностях систем. После внутреннего аудита компания пришла к выводу, что примерно 30% задач в наборе данных сломаны, и отозвала свою прежнюю рекомендацию использовать этот тест как ориентир для индустрии. Для рынка, где проценты в бенчмарках давно превратились в маркетинговую валюту, это неприятный удар.
Это тест, который должен был точнее измерять «агентское» программирование. В SWE-Bench Pro модели получают задачи из истории реальных репозиториев и должны внести исправление так, чтобы новые тесты проходили, а старый функционал не ломался. Сценарий куда ближе к жизни, чем короткие упражнения вроде HumanEval, поэтому на SWE-Bench смотрят и лаборатории, и компании, которые выпускают кодовые ассистенты.
Проблема в том, что сам экзамен, по версии OpenAI, оказался собран неровно. Компания проверила публичный набор из 731 задачи и нашла массовые дефекты. Автоматический пайплайн пометил 200 задач, или 27,4%, как сломанные. Команда с участием пяти опытных инженеров на задачу дала ещё более жёсткую оценку: 249 задач, или 34,1%.
Ошибки чаще всего попадали в четыре группы: слишком жёсткие тесты, недосказанные условия, слабое покрытие и формулировки, которые легко уводят в сторону. В итоге модель могла предложить рабочее решение и всё равно провалиться. Или, наоборот, пройти задачу неполным патчем. Для бенчмарка, который должен отделять реальные ограничения модели от шума в данных, это почти худший вариант.
OpenAI отдельно напоминает, что похожие проблемы она уже находила в SWE-Bench Verified. Тогда компания советовала сообществу перейти на SWE-Bench Pro как на более чистую и реалистичную замену. Теперь рекомендация отозвана. Разворот заметный: именно результаты на SWE-Bench в последние месяцы часто мелькали в анонсах новых моделей у OpenAI, Anthropic и Google.
Сомнения у OpenAI вызвал не только сам процент брака, но и скорость «прогресса». На публичной части SWE-Bench Pro результат лучших моделей вырос с 23,3% до 80,3% всего за восемь месяцев. Такой скачок может означать реальное улучшение систем, но в бенчмарках он нередко показывает другое: набор данных уже плохо измеряет то, что должен, потому что в нём слишком много утечек, неоднозначностей или задач, которые можно решить не тем способом, который задумал автор теста.
Для проверки OpenAI собрала отдельный контур контроля качества. Сначала автоматическая система разбирала условие задачи, попытки моделей, метаданные и следы падений тестов. Потом спорные примеры пересматривали investigator-агенты на базе Codex, которым дали доступ к окружению и репозиторию, а затем подключали живых инженеров. По словам компании, люди чаще, чем агенты, отмечали задачи как сломанные и чаще находили у одной задачи сразу несколько дефектов.
Сама история неприятна не только для SWE-Bench Pro. Вся отрасль опирается на публичные наборы, собранные из реальных GitHub-репозиториев, pull request и issue-трекеров. Но такие артефакты создавались для работы людей, а не для стерильного экзамена машин. Поэтому описание задачи, итоговый патч и юнит-тесты нередко расходятся. То, что удобно мейнтейнеру проекта, не всегда годится как честная проверка модели.
На этом фоне растёт интерес к альтернативам вроде LiveCodeBench, который изначально проектировали так, чтобы снизить риск утечки данных и переобучения на старых публичных задачах. Но и там остаётся тот же вопрос: насколько результаты отражают способность модели писать и чинить код в реальной разработке, а не умение проходить конкретный набор тестов. Чем чаще компании привязывают к таким цифрам решения о релизе и безопасности, тем дороже обходится ошибка измерения.
Для OpenAI эта история чувствительна ещё и потому, что компания прямо связывает такие оценки с решениями по развёртыванию моделей и рамкой Preparedness Framework. Если бенчмарк завышает или занижает способности системы, это бьёт не только по красивой таблице в анонсе, но и по приоритетам исследований, внутренним ограничениям и аргументам о безопасности. Судя по заявлению компании, ответом должны стать новые наборы задач, которые будут проектировать опытные разработчики специально для проверки моделей, а не собирать постфактум из следов живой разработки.
Ближайший эффект простой: сравнивать новые ИИ-модели по SWE-Bench Pro теперь придётся с оговорками, а старые рекорды в таблицах — читать внимательнее. Следующим тестом для рынка станет запуск новых кодовых бенчмарков и то, примут ли их крупные лаборатории как общий стандарт, а не как ещё одну удобную витрину для пресс-релизов.
