В текстах ChatGPT и Codex в ЕС появятся невидимые водяные знаки
Маркировка будет доступна пользователям всех тарифов, если текст подходит для неё. OpenAI вводит её в рамках требований закона ЕС об искусственном интеллекте, но предупреждает, что обнаружить метку удаётся не всегда.
Технология OpenAI называется textGrain. Она встраивает невидимый статистический сигнал в выбор слов моделью, а специальный детектор ищет этот сигнал в готовом фрагменте. При запуске маркировка текстов ChatGPT и Codex не станет настройкой по умолчанию за пределами ЕС.
Для клиентов API действуют другие условия. Они уже могут включить водяные знаки для отдельных моделей по всему миру, но по умолчанию функция выключена. OpenAI также работает с облачными партнёрами, чтобы в ближайшие недели сделать маркировку доступной для ответов её моделей в их сервисах.
Проверять тексты через детектор смогут не все. OpenAI принимает заявки от исследователей и профильных организаций и будет предоставлять доступ после рассмотрения каждого случая. Инструмент сообщит, обнаружил ли он метку OpenAI, но не раскроет пользователя, его запросы или переписку. Общедоступным при запуске детектор не станет из-за риска ошибочных результатов.
Как работает детектор водяных знаков ChatGPT
Закон ЕС об искусственном интеллекте требует, чтобы текст генеративных моделей можно было распознать машинным способом. OpenAI подчёркивает, что технологии маркировки и обнаружения текста ещё развиваются. В тестах компании textGrain показала результат не хуже других проверенных подходов, включая SynthID для текста, однако результаты испытаний нельзя напрямую переносить на повседневное использование.
Детектор может как пропустить существующую метку, так и сообщить о ней там, где её нет. При заданной доле ложных срабатываний в 1% он находил водяной знак примерно в 80% текстов объёмом 200 токенов и в 95% текстов объёмом 400 токенов на темах вроде психологии. Для математических ответов результат был заметно ниже: там у модели меньше свободы в выборе слов.
Редактирование тоже ослабляет сигнал. В одном из испытаний на текстах объёмом 400 токенов детектор находил метку примерно в 92% случаев до замены слов синонимами. После замены 10% слов показатель снизился до 66%, а после замены 25% слов до 17%. Короткий, изменённый или переведённый текст также может не пройти проверку, даже если при его создании использовались инструменты OpenAI.
Найденная метка указывает лишь на то, что система OpenAI создала или обработала часть текста. Она не показывает, сколько работы вложил человек, кому принадлежат права и отвечает ли содержание действительности. Отсутствие метки не доказывает, что текст написал человек. OpenAI планирует продолжать испытания устойчивости меток к правкам и переводу, а также позднее открыть код технологии.
