Claude оказался «разным» на разных языках: Anthropic заметила сдвиг в ценностях модели

Anthropic признала то, что многие пользователи чат-ботов и так видели на практике: один и тот же Claude ведёт себя по-разному в зависимости от языка. В новом исследовании компания пишет, что дело может быть не только в тоне ответов, но и в более глубоком слое, который она сама называет «ценностями» модели. То есть бот на английском, арабском или русском может по-разному решать, где быть вежливым, где — осторожным, а где просто без лишних разговоров выполнить запрос.

Claude на разных языках: что показало исследование Anthropic

Для отчёта исследователи разобрали 309 815 анонимизированных диалогов с моделями Sonnet 4.6, Opus 4.6 и Opus 4.7. Брали не простые фактические вопросы вроде столицы Франции, а запросы, где у модели больше свободы: как ответить, насколько подробно, насколько прямо. Потом эти ответы прогнали по четырём осям: уступчивость или осторожность, теплота или строгость, глубина или краткость, откровенность о собственных ограничениях или ориентация на исполнение запроса.

Разброс оказался заметным. По данным Anthropic, на арабском Claude чаще всего был уступчивым, а на английском — наоборот, самым осторожным. Самыми «тёплыми» языками компания назвала хинди и арабский: там модель чаще вставляет вежливые формулировки, юмор и поддерживающие реплики. На английском и русском бот чаще уходит в строгость и поиск истины, даже если ответ звучит суше. На английском Claude обычно отвечает подробнее, на арабском — короче, на голландском охотнее признаёт слабые места, а на индонезийском чаще просто идёт выполнять просьбу.

Anthropic отдельно оговаривает, что пока не понимает, какая часть этой разницы — обычное отражение языковых норм, а какая связана с перекосами в обучающих данных. И вот тут начинается более неприятная для отрасли часть истории. Большие языковые модели по-прежнему учатся на массивах текста, где английский обычно представлен лучше других языков и по объёму, и по разнообразию жанров. Поэтому разница между языками давно заметна не только в стиле, но и в качестве ответов: похожие проблемы раньше показывали исследования Google и работы OpenAI по многоязычным тестам.

У Anthropic эта тема звучит особенно громко ещё и потому, что компания в последние месяцы много говорит о внутреннем устройстве и «мышлении» своих моделей. На этом фоне новый отчёт возвращает разговор с философского уровня на вполне прикладной: если поведение ИИ заметно меняется от языка запроса, проверять безопасность и надёжность придётся не на одном «эталонном» английском. Для корпоративных клиентов это тоже вполне практический вопрос. Один и тот же бот в международной поддержке может выглядеть мягче, послушнее или, наоборот, жёстче — в зависимости от рынка.

Рынок при этом растёт быстро, и цена ошибки тоже. По оценкам Statista, мировая выручка генеративного ИИ-сегмента в ближайшие годы будет измеряться десятками миллиардов долларов, а компании всё чаще запускают таких ассистентов сразу в нескольких странах. Так что следующая гонка между Anthropic, OpenAI и Google, похоже, пойдёт не только за самые умные модели, но и за самые ровные — на всех языках сразу.