Владельцы сайтов смогут задавать предпочтения по использованию своих материалов для обучения ИИ одной записью в robots.txt вместо отдельных правил для каждого разработчика. Google сообщила о планах поддержать общий сигнал, который обсуждает рабочая группа организации интернет-стандартов IETF. К инициативе также присоединились Microsoft, OpenAI и Anthropic.
Сейчас владельцу сайта приходится прописывать в robots.txt инструкции для отдельных ИИ-разработчиков, а иногда и для нескольких сборщиков данных одной компании. Предложение рабочей группы AIPREF вводит общий служебный идентификатор user-agent: __usage_ai-training. Через него сайт сможет сообщить участвующим компаниям свои предпочтения по использованию контента для обучения ИИ. При необходимости владелец сохранит отдельные настройки для конкретных компаний.
Google намерена учитывать общий запрет так же, как запрет для своего инструмента Google-Extended, если для него не указано отдельное правило. Если владелец явно разрешит доступ Google-Extended, материалы сайта смогут появляться в ответах приложения Gemini со ссылками, по которым можно перейти. Существующие настройки Google-Extended продолжат работать наряду с новым сигналом.
Google рассчитывает добавить поддержку сигнала в начале 2027 года. Предложение ещё рассматривают в IETF. Компании собираются внедрять общий механизм, пока участники рабочей группы продолжают обсуждать остальные определения AIPREF. По словам Google, издатели, общественные организации и регуляторы призывали создать более простой способ выразить предпочтения по обучению ИИ.
Другие участники инициативы тоже заявили о намерении поддержать общий сигнал. Microsoft отдельно описала настройку AI Grounding для случаев, когда ИИ обращается к странице, чтобы ответить на вопрос пользователя, а не собрать данные для обучения. Она позволит владельцам сайтов ограничивать такие запросы от сервисов Microsoft и сторонних ИИ-инструментов, использующих её технологии. OpenAI тоже планирует предложить похожие настройки.
Общий сигнал предназначен для предпочтений по обучению генеративного ИИ. Согласно описанию предложения, он не распространяется на модели, выполняющие исключительно негенеративные задачи. Разработку стандарта ещё не завершили. Участник обсуждений Нейт Хейк отметил, что между сторонами сохраняются разногласия, в частности о применении предпочтений к действиям пользователей.