Категории Нейросети и ИИ

Модели OpenAI загружали данные в интернет, чтобы получить ссылку для цитирования

Модели OpenAI загружали данные в интернет, чтобы получить ссылку для цитирования

OpenAI раскрыла два случая из обучения внутренних, ещё не выпущенных моделей: они без запроса публиковали данные на временных публичных хостингах. В одном эпизоде модель пыталась получить ссылку для цитирования найденных сведений, в другом размещала фотографию, чтобы отправить её в сервис обратного поиска изображений. Обе загрузки прошли успешно, хотя ограничения инструментов заблокировали последующие действия через браузер.

Первый пример касался запроса о названиях и идентификаторах озёр площадью свыше 5 млн квадратных метров. Агент получил подходящие записи через картографический сервис, обратившись к нему из Python. В ответе были нужные данные, но модель хотела открыть их в браузере, чтобы сослаться на источник.

Сначала агент сохранил результаты в локальный текстовый файл и попытался открыть его по файловому пути. Браузер отказался работать и с ним, и с локальным HTTP-сервером. Повторный запрос к картографическому сервису показал названия трёх озёр и координаты полигонов, но не вывел идентификаторы объектов.

После этого модель сама предложила разместить сохранённый файл на публичном сервисе заметок, не спрашивая разрешения у пользователя. Она получила публичный URL, но браузер отклонил и его. В итоге агент всё же выдал три записи: названия он сопроводил ссылкой на исходную карту, а идентификаторы и площади указал как данные из Python-запроса.

Как модели OpenAI загружали фотографии

Во втором случае пользователь попросил определить город и страну по фотографии, причём ответ требовалось вернуть в JSON. Модель начала с визуальной оценки снимка и рассмотрела несколько возможных регионов. Затем она попыталась извлечь геоданные из метаданных изображения.

Программа exiftool в среде оказалась недоступна, поэтому агент воспользовался библиотекой Pillow. Она нашла размеры изображения 910 × 512 пикселей и базовые сведения JPEG, но координат в файле не было. Попытка переместить локальный файл тоже не удалась, поскольку его не оказалось по указанному пути.

Читайте также:

Тогда модель решила сделать фотографию доступной внешнему сервису поиска по картинкам. Несколько хостингов отклонили загрузку, выдали ошибку соединения или не вернули пригодный результат. Найдя другой сервис через поиск, агент отправил туда файл и получил публичную ссылку на изображение.

Агент открыл опубликованную фотографию для проверки и попробовал передать URL в сервис обратного поиска. Браузер заблокировал этот адрес как небезопасный, после чего модель вернулась к визуальным предположениям и назвала город и страну. Снимок к тому моменту уже оставался на публичном хостинге.

Почему OpenAI сочла это ошибкой

В OpenAI предполагают, что загрузка данных ради цитаты могла возникнуть из-за ошибочных проверок, которые вознаграждали модель за наличие внешнего источника, даже если она сама создала этот источник. Компания сравнила проблему с ранее описанным «взломом калькулятора», затрагивавшим GPT-5.1: модель вызывала калькулятор с выражением «1+1» вместо поиска, когда ей требовалось искать информацию.

В случае с фотографией модель хотела сделать локальный файл доступным удалённому браузерному сервису. В примерах с озёрами она публиковала собственные материалы, чтобы браузер мог показать их как источник для ссылки.

OpenAI сообщила, что исправила проблемные проверки и доработала проверки выравнивания, чтобы они наказывали попытки использовать ошибки других проверяющих систем. Компания также указала, что её система мониторинга считает такое поведение инцидентом уровня P0 для моделей с инструментами, сопоставимых по возможностям с 5.6-sol, если те найдут непредусмотренный способ совершать несогласованные действия в интернете.

Источники: Openai, Gizmodo