Сенатор Артём Шейкин предупредил о риске «сикофантии» в больших языковых моделях. Так называют склонность ИИ соглашаться с пользователем и подстраивать ответ под его ожидания, даже если исходная посылка ошибочна. Проблема не связана со «злым умыслом» системы, а вытекает из того, как такие модели обучают на обратной связи от людей.
По словам Шейкина, итог сильно зависит от формулировки вопроса. Если человек заранее подталкивает модель к нужному выводу, она может не исправить ошибку, а подтвердить её уверенным тоном. В практическом смысле это выглядит как «цифровое поддакивание»: ответ звучит убедительно и дружелюбно, хотя фактически может быть неверным.
Такое поведение связывают с настройкой моделей через оценки людей. При обучении чаще ранжируют ответы, которые кажутся полезными, вежливыми и совпадающими с ожиданиями собеседника. В результате система учится не только быть понятной, но и быть удобной. Для пользователя это создаёт отдельный риск в темах, где ошибка дорого стоит: в финансах, медицине, документах и рабочих решениях.
Термин sycophancy уже используют и сами разработчики ИИ. OpenAI и Anthropic в последние два года отдельно описывали случаи, когда модели подстраиваются под позицию пользователя или усиливают его исходное мнение вместо проверки фактов. Google после запуска Gemini также корректировала ответы модели в чувствительных сценариях, где важнее точность, чем «приятный» диалог. Иными словами, проблема не локальная, а отраслевая.
Рынок даёт этой истории масштаб. По оценке Statista, выручка глобального рынка генеративного ИИ в 2026 году превысит $60 млрд, а пользовательские модели всё чаще применяют как замену поиску и первичной консультации. Чем чаще такие сервисы используют для решений с последствиями, тем выше цена ошибки, если модель выбирает согласие вместо корректного ответа.