GPT-6-Astra решила 49 задач по физике и нашла ошибки в ответах учёных
Физики проверили, как ИИ-агенты справляются с неопубликованными задачами исследовательского уровня. Проверяя результаты GPT-6-Astra, они обнаружили ошибки в собственных эталонных решениях.
В тесте TheoPhysEval модели работали без подсказок человека: им нужно было применять известные научные методы к новым условиям, а не искать готовый ответ в публикации.
Для TheoPhysEval команда физиков собрала 50 задач из 11 разделов теоретической физики. На момент испытания задания нигде не публиковались, хотя каждое допускало проверку результата. Авторы исключили крупные открытые проблемы: они хотели измерить, насколько хорошо агенты выполняют конкретную расчётную работу, с которой сталкиваются исследователи.
Участники теста нередко меняли исходные значения в расчётах из собственных недавних работ. Поэтому готовый результат из статьи нельзя было просто перенести в ответ, но метод оставался применимым. По оценке авторов, эксперт мирового уровня может потратить почти день на одну такую задачу, а специалисту из смежной области потребуется значительно больше времени. Некоторые задания прежде подошли бы начинающим учёным в качестве первых исследовательских проектов.
В одном из примеров по физике чёрных дыр требовалось найти более раннюю научную работу, перенести её расчёт из пятимерного пространства-времени в четырёхмерное и получить численный результат с помощью программы. Соавтор прежней работы Суврат Раджу потратил на задачу около дня. Для решения нужно было правильно адаптировать формулы: во время теста Gemini и GLM использовали выражения из статьи без изменений, хотя они относились к пяти измерениям.
Результаты GPT-6-Astra в тесте по физике
Агентов испытали в двух режимах. В первом им разрешили доступ к интернету, научной литературе и вычислительным инструментам; во втором отключили веб-поиск. GPT-6-Astra работала в среде Codex от OpenAI и с доступом к сети правильно решила 49 заданий. Следом шла Opus 5.5 от Anthropic в среде Claude Code: её результат составил 46 решений.
| Модель | С доступом к интернету | Без веб-поиска |
|---|---|---|
| GPT-6-Astra | 49 из 50 | 46 из 50 |
| Opus 5.5 | 46 из 50 | 46 из 50 |
| Gemini 3.8 Flash | 34 из 50 | 31 из 50 |
| DeepSeek-V4.1-Flash | 27 из 50 | 25 из 50 |
| GLM 5.3 | 21 из 50 | 26 из 50 |
Отключение веб-поиска мало повлияло на результаты лидеров. Astra решила без него 46 задач вместо 49, а Opus сохранила прежний показатель. Авторы считают, что это может говорить о том, что ведущие модели усвоили значительную часть литературы по теоретической физике и могут воспроизводить нужные формулы без обращения к статьям. По одному исследованию нельзя полностью исключить влияние обучающих данных на результат.
Работа Astra в режиме с интернетом обошлась в среднем менее чем в $3 (около 300 ₽) за задачу, а весь прогон из 50 заданий стоил чуть меньше $116 (около 10 000 ₽). Для сравнения, тот же прогон Opus обошёлся примерно в $240 (около 20 000 ₽). Эти суммы относятся к проведённому испытанию, а не к цене решения любой новой физической задачи.
Несколько ответов Astra исследователи сначала посчитали неверными. После консультаций с экспертами они нашли небольшие, но трудно заметные недочёты в собственных эталонных решениях. Исправленная проверка показала, что в этих случаях агент ответил правильно. Авторы опубликовали набор задач и условия тестирования, чтобы результаты можно было проверить.
Граница испытания
Единственную задачу, с которой Astra не справилась при доступе к интернету, не решила ни одна из проверенных моделей. По заданной кривой нужно было восстановить породившее её дифференциальное уравнение. Авторы признают неоднозначность условия: их эталонный ответ соответствует требованию об уравнении лишь в более широком смысле. Они оставили задачу в наборе, поскольку в реальной работе физикам тоже приходится выводить закономерности из неточных данных.
Умение получить проверяемый расчёт не охватывает весь исследовательский процесс. Сначала учёному нужно выбрать значимую проблему и сформулировать вопрос, а если направление оказалось слишком сложным — найти другое, столь же интересное. По наблюдениям авторов, нынешним агентам это даётся хуже. Когда их просят придумывать задачи самостоятельно, они могут сосредоточиться на деталях, которые человек-исследователь счёл бы неинтересными.
Авторы отмечают, что эти наблюдения нельзя выразить точной оценкой и использовать как прогноз возможностей ИИ. Они также предлагают пересмотреть роль подобных задач в обучении молодых физиков: часть заданий TheoPhysEval раньше годилась для первого исследовательского проекта. Теперь, по их мнению, такие задания уместны прежде всего для освоения материала, а не для получения нового результата.
В материале о выпуске GPT-6 Astra OpenAI называла науку одним из направлений применения модели. Нынешняя проверка стала испытанием этой заявленной способности на задачах теоретической физики.
