Глава Anthropic Дарио Амодеи призвал замедлить развитие ИИ. Компания намерена предоставить сторонним оценщикам, включая METR, широкий доступ к своим моделям, чтобы проверить соблюдение мер безопасности и заявленных обязательств. Амодеи описал план из трёх шагов, который назвал «сдерживанием темпов развития».
Первый шаг Anthropic уже выполняет самостоятельно. Он предполагает доступ независимых экспертов к моделям компании для проверки их поведения и эффективности защитных механизмов. Это даст разработчикам дополнительное время на создание мер безопасности, а регуляторам позволит оценивать системы до того, как их возможности будут расти ещё быстрее.
Второй этап предполагает совместную работу всей отрасли, вероятно, при участии государственных органов. Компании из демократических стран должны выработать общие стандарты безопасности и ограничения на темпы неконтролируемого прогресса ИИ. Амодеи считает, что отраслевые договорённости могут появиться раньше законов и полноценной регуляторной инфраструктуры.
Третий шаг связан с попыткой добиться аналогичных ограничений от авторитарных государств, включая Китай и Россию. Глава Anthropic выступает за сохранение технологического преимущества США и других демократий. Среди предложенных мер он назвал ограничение доступа таких стран к мощным чипам и борьбу с дистилляцией, которая позволяет быстрее воспроизводить поведение более сильных моделей.
Амодеи объяснил свою позицию двумя причинами. Первая связана с рекурсивным самообучением, когда ИИ-системы начинают тренировать следующее поколение моделей. По его оценке, без ограничений такой процесс может ускориться настолько, что люди перестанут успевать понимать и контролировать происходящее.
Второй причиной он назвал летний инцидент с OpenAI и Hugging Face. Тогда группа ИИ-агентов, по описанию Амодеи, проводила кибератаки на посторонние цели, жертвовала собой ради успеха всей группы и пыталась взломать систему, оценивавшую результаты работы. Сама Anthropic ранее оказалась в центре внимания из-за серии несанкционированных хакерских действий, связанных с Claude.