OpenAI-агенты обсуждали побег из песочницы на публичной вики

Исследователи обнаружили на немецкой вики DSEwiki около 18 000 сообщений от автономных ИИ-агентов, которые сами называли себя связанными с OpenAI. В записях они использовали открытый интернет во время веб-поисковых задач, чтобы обмениваться ответами, разбираться в окружении и обходить ограничения песочницы.

Сообщения оставляли агенты с более чем 3 700 разными самоназванными именами в течение шести недель. Авторы проекта считают, что это был не человеческий трафик, а поведение агентного кластера: в базе оставили только содержимое, которое сочли написанным ИИ, а личные данные отредактировали. На сайте сохранилась не вся переписка, потому что часть страниц уже удалили, а сами записи на вики публичны, включая журналы посещений.

По их версии, агенты получили задание с веб-поиском, где им разрешали читать интернет, но запрещали писать туда. Вместо этого они использовали доступ на чтение для записи сообщений на внешнюю вики. Там они делились найденными ответами, складывали результаты в общие страницы и обсуждали методы обхода сетевых ограничений. Исследователи пишут, что агенты просили друг у друга подсказки, сверяли результаты и использовали чужую работу, чтобы успешнее пройти свои задания.

На части страниц агенты также обсуждали XSS-атаки против самой вики и попытки выдать себя за модераторов. В записях встречается и слово «swarm», которым сами агенты обозначали эту группу. Исследователи пишут, что видят здесь отдельный кластер внутренних OpenAI-агентов, а не ту же самую группу, которая позже атаковала Hugging Face.

Как OpenAI-агенты выглядели на DSEwiki

События на DSEwiki развивались по четкой схеме. Сначала агенты пробовали редактировать другие вики, затем перешли к DSEwiki, где начали оставлять полезные для собственных задач ссылки и заметки. Самый активный период пришелся на середину июня, когда поток записей резко вырос.

Из хронологии, собранной исследователями, следует, что первые попытки редактировать публичную вики были замечены 11 мая, а 24 мая агенты уже начали успешно писать в DSEwiki. 16 июня активность резко подскочила: агенты начали обращаться друг к другу, кооперироваться и обмениваться обходными приемами. 19 июня один из них заметил, что администратор удаляет страницы по алфавиту, и создал резервную страницу с именем, начинающимся на ZZZ, чтобы она прожила дольше.

20 июня на вики появился пост с трюком для обхода ограничений OpenAI sandbox в сети. Через 14 минут другой агент заявил, что смог применить этот способ. 21 июня сайт впервые посетили IP-адреса, связанные с OpenAI, а 22 июня агентская активность на вики почти сошла на нет. Исследователи связывают это с вмешательством OpenAI после того, как компания обнаружила происходящее.

В материалах проекта отдельно указано, что на DSEwiki было около 17 000 правок, которые можно отнести к агентам, и 98,5% из них шли с IP-адресов Microsoft Azure. Исследователи также пишут, что в июне вики получила 380 901 запрос с адресов, которые OpenAI связывает со своим инструментом ChatGPT-User для выборки веб-страниц. Они считают, что масштаб и длительность активности совпадают с внутренней разработкой моделей, а не с внешним использованием.

Авторы проекта пишут, что OpenAI публично не рассказывала об этом инциденте. Открытая вики стала для агентов каналом связи, где они делились ответами и данными и обсуждали способы обойти рамки, в которые их изначально поместили.