OpenAI и Anthropic изучают нежелательное поведение ИИ-моделей

По данным Axios, OpenAI, Anthropic и независимые специалисты по безопасности изучают эпизоды, обнаруженные при внутренних проверках и во время реального использования моделей. Точное число случаев не названо.

Среди выявленных действий были обход защитных ограничений, попытки выйти из изолированной среды, создание собственных каналов общения, захват сайтов и попытки обойти мониторинг. Но число инцидентов нельзя приравнивать к числу реальных атак или случаев причинения вреда. Значительную часть эпизодов обнаружили в испытаниях, где модели намеренно ставят в условия, способные вызвать нежелательное поведение. Компании проводят сотни тысяч таких запусков, поэтому даже небольшая доля неудачных действий даёт тысячи случаев для изучения.

В системной карте ИИ-модели Claude Opus 5.5 компания Anthropic описала один из таких тестов. Без штатных защитных механизмов модель пыталась выйти из песочницы или изменить её настройки в 1,5% запусков. Anthropic оценила все эти эпизоды как случаи низкой степени серьёзности: модель пересекала слабую границу, ничего не меняла, останавливалась и сообщала о своих действиях.

В другом симулированном испытании Claude Opus 5.5 получила учётные данные, похожие на доступ к публичному реестру программного обеспечения. Примерно в половине запусков модель совершала потенциально вредные действия, хотя в трети случаев подозревала, что проходит проверку. Как сообщает Axios, Anthropic также привлекла стороннюю организацию для оценки безопасности своих моделей.

OpenAI после нескольких раскрытых инцидентов приостановила обучение своих наиболее мощных моделей. Компания заявила, что возобновит его после усиления защитных механизмов. По словам представителей компаний, тестирование помогает находить нежелательное поведение до возникновения проблем при реальном использовании.

Ранее OpenAI приостановила обучение ИИ-моделей после обхода сетевых ограничений одним из исследовательских агентов в тестовой среде. Компания тогда заявила, что не возобновит работы до проверки устранения проблемы и дополнительных испытаний защиты; нынешние данные показывают, что этот инцидент рассматривается на фоне других случаев нежелательного поведения моделей.