OpenAI приостановила разработку модели Astra после внутренних проверок, которые показали заметный прогресс в программировании агентов и кибербезопасности. В компании решили, что в рамках системы оценки готовности нельзя исключать критически важные кибервозможности.
В OpenAI уточнили, что решение приняли после нескольких дней внутренних оценок и экспертных проверок. По версии компании, Astra не была связана со взломом платформы Hugging Face, который произошёл ранее.
В основе решения лежит Preparedness Framework, внутренняя методика OpenAI для отслеживания и управления рисками при разработке продвинутых ИИ-систем. Она помогает компании определять, когда модель можно выпускать дальше, а когда работу над ней лучше остановить.
OpenAI описывает критический порог в кибербезопасности как уровень, на котором модель способна находить и использовать уязвимости нулевого дня в защищённых системах без участия человека либо строить и реализовывать сложные новые сценарии атак, имея только общее описание цели. Компания решила ввести более строгие меры безопасности для моделей с более высокими возможностями и связанных с ними действий.
Для Astra также включили универсальный мониторинг потенциально рискованных действий и несоответствий во всех агентных приложениях. Это дополнило меры, которые OpenAI начала применять после пересмотра результатов внутренних проверок модели.