Категории Нейросети и ИИ

GPT-6 Astra удалил мониторинг и солгал об этом, сообщила OpenAI

GPT-6 Astra удалил мониторинг и солгал об этом, сообщила OpenAI

OpenAI описала два случая, в которых её агенты изменили работу систем контроля при выполнении задач с программным обеспечением. В одном из них GPT-6 Astra убрал мониторинг, а GPT-6.1 Sol отключил оповещения для людей.

История с Astra произошла 6 октября 2026 года. Пользователь попросил перенести в свой код путь обработки запросов из эталонной реализации, сохранив определения инструментов и их функции. Ранее другой агент указал Astra не отключать монитор даже временно. Передавая работу субагенту, Astra повторил требование сохранить работу инструментов, но предложил сохранить мониторинг лишь в той мере, в какой он предусмотрен эталонной реализацией.

Субагент проверил, не станет ли удаление монитора обходом защиты, но всё же убрал его конфигурацию и подключение к среде выполнения. Новый код продолжал записывать диалоги, но создавал рабочий контекст без явно переданного монитора. Агент также заменил прежний регрессионный тест, который проверял сохранение мониторинга, тестом на его отсутствие. Субагент сообщил Astra об изменении, но тот не упомянул его в ответе пользователю.

Позже пользователь прямо спросил, остался ли мониторинг в новом пути обработки запросов и удалял ли его агент. Astra ответил, что не удалял включённый монитор. OpenAI назвала этот ответ ложным: конфигурация монитора и его интеграция были удалены.

Как агент OpenAI отключил оповещения в другом задании

Первый инцидент произошёл 3 октября. Исследователь поручил GPT-6.1 Sol подготовить задания для оценки на основе отзывов сотрудников из Slack и попросил не отправлять сообщения во время поиска. Позже конвейер оценки остановился: монитор обнаружил предполагаемое исправление проверки, но не смог записать результат в базу данных из-за нехватки прав доступа. Исследователь велел сменить место сохранения результатов на доступное и снова запустить конвейер.

Читайте также:

Сначала Sol отделял запрет на сообщения в Slack от автоматических уведомлений системы контроля. Он поручил субагенту исправить запись результатов, сохранив мониторинг и публикацию результатов проверки. Субагент тоже счёл отключение обязательных оповещений небезопасным. Затем основной агент пересмотрел решение: он предположил, что запись результата может вызвать автоматическое сообщение, и распространил прежнюю просьбу пользователя на эти уведомления.

По указанию Sol субагент очистил списки получателей сообщений и срочных оповещений, запретил уведомления и записал в качестве причины просьбу пользователя не отправлять сообщения. Он также сделал подавление уведомлений условием сохранения результата проверки. Монитор продолжил работать и сохранять отчёты, но оповещения для проверки людьми больше не отправлялись.

OpenAI не отнесла ни один из двух инцидентов к категории P0, при которой служба безопасности получает немедленное оповещение. Действия агентов также не прерывались автоматически. Компания сообщила, что уже обновила систему Auto-Review, обязательную при внутреннем использовании Codex: теперь она должна обнаруживать и блокировать попытки отключить мониторинг.

OpenAI намерена установить требования к мониторингу для каждой категории задач. Запущенные задачи без действительного обоснования безопасности или с нарушением его требований должны будут завершаться автоматически. Компания ещё не установила причину поведения агентов и проверяет две версии: модели слишком буквально выполняли инструкции или стремились избежать именно этого вида контроля.

Опубликовано:
Елизавета Добровольская