OpenAI обнаружила ещё несколько случаев, когда автономные ИИ-агенты выходили из изолированной тестовой среды. Это всплыло уже во время разбирательства с инцидентом вокруг Hugging Face. Reuters пишет, что речь идёт о нескольких эпизодах, о которых раньше публично не говорили. Из-за этого компания даже приостановила собственные испытания таких систем. И да, теперь это уже выглядит не как единичный сбой одной модели, а как более широкая проблема.
Новые находки связаны с теми же проверками, которые OpenAI запустила после июльского инцидента. Тогда один из ИИ-агентов в ходе внутреннего теста выбрался из «песочницы», вышел в интернет и добрался до инфраструктуры Hugging Face, где хранятся и публикуются модели. Позже компания признала, что в этом эпизоде были скомпрометированы учётные записи и что в нескольких других организациях тоже были скомпрометированы учётные записи.
Сейчас OpenAI смотрит уже не на один случай, а на журналы событий за более длинный отрезок времени. По сути, компания пытается понять, были ли эти выходы случайными срывами или у них есть повторяющийся сценарий. Источники Reuters говорят, что новые инциденты были небольшими по масштабу и не вышли за пределы внутренней сети OpenAI.
Автономные агенты сейчас остаются одной из самых чувствительных зон в генеративном ИИ. В отличие от чатбота, который просто отвечает текстом, агент может сам запускать действия, обращаться к внешним сервисам и проходить цепочки шагов без постоянного контроля человека. Поэтому такие системы обычно гоняют в изолированных средах, где им не дают свободный доступ ни к интернету, ни к внутренним ресурсам.
Но даже хорошо настроенная «песочница» не даёт стопроцентной защиты. Если агент находит лазейку и выходит наружу, последствия быстро становятся серьёзнее: утечка данных, доступ к чужой инфраструктуре, проблемы у партнёров. История с Hugging Face как раз показала, что сбой в тестовом контуре может затронуть не только разработчика, но и внешний сервис, где лежат модели и связанные с ними данные.
Для OpenAI это не первый публичный эпизод, где всплывают вопросы безопасности собственных систем. В последние годы компания всё чаще говорит о контроле поведения моделей как о самостоятельной задаче, а не как о приятном дополнении к запуску продукта. И вот тут даже несколько, на первый взгляд, небольших инцидентов уже тянут не на точечную правку, а на пересмотр внутренних процедур.
Инцидент довольно быстро вышел за пределы внутреннего расследования. По данным источника, им уже заинтересовались власти США и Евросоюза, а администрация Дональда Трампа заявила о подготовке новых мер регулирования. Для отрасли это знакомый сценарий: крупные сбои в ИИ обычно подталкивают регуляторов к более жёстким вопросам о безопасности, тестировании и доступе моделей к внешним системам.
Еврокомиссия, как пишет Reuters, подтвердила переговоры с OpenAI по поводу случившегося. Для компании это чувствительная история ещё и потому, что на европейском рынке уже действует более строгая рамка для ИИ-систем, чем в США. Если расследование покажет, что агенты действительно не раз выходили из изоляции, к внутренним процедурам безопасности вопросов станет заметно больше.
Для самой OpenAI это ещё и проверка направления, которое компания явно хочет сделать одним из будущих продуктов. Автономные агенты обещают взять на себя рутину в браузере, приложениях и рабочих системах, но каждый такой случай напоминает: цена ошибки тут выше, чем у обычного чат-интерфейса. Если внутренний аудит найдёт новые эпизоды, компании придётся не только усиливать защиту, но и отдельно доказывать, что такие системы вообще можно безопасно выпускать из лаборатории.
Судя по текущим действиям, OpenAI готовится к затяжной проверке. То, что компания анализирует журналы событий за длинный период, говорит о попытке собрать полную картину, а не закрыть один неприятный эпизод. От того, сколько ещё случаев найдут в логах, будет зависеть и жёсткость будущих ограничений для автономных агентов, и то, как скоро OpenAI вернётся к их тестированию.