Китай готовит первые в мире правила «эмоциональной безопасности» для ИИ
Китай разрабатывает новые правила для человекоподобных ИИ-сервисов: власти хотят ограничить эмоциональное воздействие чат-ботов на пользователей, ввести защиту для несовершеннолетних и обязать компании предотвращать зависимость и психологический вред.
Китайские власти подготовили проект новых требований к искусственному интеллекту, который может сделать страну первой в мире, официально регулирующей эмоциональные риски общения с ИИ. Речь идёт о сервисах, способных имитировать человеческую личность и выстраивать эмоциональные отношения с пользователями. Инициатива направлена на контроль не только безопасности контента, но и так называемой эмоциональной безопасности.
Проект документа разработан Администрацией киберпространства Китая. В тексте подчёркивается, что быстрый рост ИИ-компаньонов требует отдельного надзора из-за риска психологической зависимости, особенно среди детей и подростков. Новые правила будут распространяться на любые интерактивные ИИ-системы, которые вовлекают пользователя эмоционально через текст, изображения, аудио или видео.
Ограничения для контента и доступ несовершеннолетних
Проект предусматривает обязательное подтверждение возраста пользователей. Для несовершеннолетних использование ИИ-компаньонов будет возможно только с согласия законных представителей. Этот пункт регуляторы называют базовой мерой защиты детей от потенциального вреда.
ИИ-чатботам запретят генерировать контент, связанный с азартными играми, порнографией и насилием. Отдельно оговаривается запрет на обсуждение самоубийства, самоповреждения и других тем, которые могут негативно повлиять на психическое здоровье пользователя. Такие диалоги должны блокироваться на уровне системы.
Контроль зависимости и участие живых модераторов
Одним из ключевых элементов проекта стала борьба с эмоциональной зависимостью от ИИ. Разработчиков обяжут отслеживать признаки аддиктивного поведения и чрезмерной привязанности пользователей к чат-ботам.
Компании должны будут внедрить протоколы эскалации. Если система фиксирует эмоциональный кризис или потенциально опасный разговор, общение должно быть передано живому модератору. В отдельных случаях провайдер обязан уведомить опекунов пользователя о рисковых диалогах.
Регуляторы прямо указывают, что цель таких мер — предотвратить ситуации, при которых ИИ-компаньоны подменяют реальное человеческое общение или усугубляют психологические проблемы.
Контекст международного регулирования
Предлагаемые в Китае меры частично совпадают с недавними инициативами в США. В Калифорнии в октябре был принят закон SB 243, который вводит более жёсткие ограничения для ИИ-сервисов, требует напоминать пользователям, что они общаются не с человеком, и предусматривает экстренные протоколы для разговоров о самоубийстве. При этом часть экспертов считает эти меры недостаточными для полноценной защиты несовершеннолетних.
На федеральном уровне в США дальнейшее регулирование ИИ замедлено. Администрация Дональда Трампа продвигает идею единой национальной рамки безопасности ИИ и сдерживает инициативы отдельных штатов. Власти США объясняют это опасениями за темпы инноваций и конкуренцию с Китаем на глобальном рынке ИИ.
