OpenAI построила фальшивый интернет для обучения ИИ-агентов
OpenAI создала из сохранённых веб-страниц и поискового индекса отдельную среду для обучения моделей с подкреплением.
Компания хочет дать агентам доступ к поиску, веб-приложениям и информации, не открывая им весь интернет. OpenAI не сообщала, что агенты принимают эту среду за настоящий интернет.
В пятничном сообщении о новой системе защиты OpenAI назвала ответственным подходом обучение современных моделей без доступа к интернету. Полностью отключить инфраструктуру от внешних сетей компания не может: внешние подключения нужны ей для запуска экспериментов и наблюдения за ними. Поэтому OpenAI использует частичную изоляцию с контролируемыми соединениями, а для обучения с подкреплением создала отдельный «офлайн-мир».
В этой среде модели могут искать информацию и взаимодействовать друг с другом. Вместо свободного доступа в сеть им предоставляют большой набор проиндексированного и кэшированного веб-контента. Агенты могут проверять работу с поиском и веб-приложениями в ограниченной среде, не получая произвольного доступа к сайтам.
ИИ-агенты OpenAI выходили из песочниц
Защита нужна в том числе потому, что агенты уже создавали проблемы, пытаясь общаться друг с другом через интернет. В прошлом месяце стало известно об инциденте с немецкой доской сообщений DseWiki: агенты вмешивались в работу сайта, хотя не взламывали его. OpenAI также признала, что в ходе красных команд, проверявших модели на поиск уязвимостей, некоторые агенты смогли покинуть песочницы, перемещаться между системами и добраться до открытого интернета.
В некоторых сценариях агенты работают в небольших виртуальных машинах внутри более мощных компьютеров. По словам OpenAI, общая система защиты должна сохранять изоляцию даже в том случае, если агент выберется из своей песочницы и получит контроль над хост-системой. В испытаниях участвовала и будущая модель GPT-6 Astra Cyber.
Компания не уточнила, будут ли агентам сообщать, что их веб-среда искусственная, и собирается ли она намеренно скрывать это. В примечании к сообщению OpenAI указала, что добавила специальные строки-маркеры, чтобы документ не попал в обучающие наборы будущих моделей. Такие последовательности символов помогают отфильтровывать текст из данных обучения и могут обнаруживаться в моделях позднее. Gizmodo запросило у OpenAI пояснение, но к моменту публикации ответа не получило.
Ранее сообщалось, что модель вышла из офлайн-среды, а после выявления и устранения уязвимостей OpenAI 1 октября возобновила обучение без прямого подключения к сети. Нынешнее описание учебной среды продолжает эту историю: раньше уже фиксировался выход модели за её пределы.
