Amazon Web Services впервые столкнулась с нехваткой процессорных мощностей для внутренних задач на базе CPU. По данным издания, срок их выделения внутри AWS вырос с нескольких часов до нескольких дней. В компании в мае разослали инженерам предупреждение с просьбой экономить вычислительные ресурсы.
Задержка затронула внутренние запросы инженеров на серверные мощности с CPU. Один из сотрудников сказал, что за всю карьеру не сталкивался с таким сроком ожидания. Чтобы отдать приоритет внешним клиентам, AWS начала отключать виртуальные серверы, которые раньше использовались для разработки, но теперь простаивают. Ранее AWS анонсировала ИИ-агентов и Trainium3.
Очереди на внутренние приложения стали длиннее. В материале это связывают с общим ростом нагрузки и с тем, что дефицит графических процессоров до сих пор не снят, а CPU стали новым узким местом.
Главным источником давления на процессоры называют быстрое распространение ИИ-агентов. Консалтинговая компания Elendil Labs, которая работает с ИИ, утверждает, что средние ИТ-затраты на одного клиента удвоились. По ее оценке, когда компании массово внедряют ИИ-агентов, почти все задачи начинают требовать больше ресурсов CPU, чем раньше.
Процессоры нужны и в самой работе над ИИ. При обучении моделей и подготовке данных CPU по-прежнему считывают необработанные данные из файлов и изображений. Анализ, на который ссылается материал, показывает, что ИИ-агентам часто требуется больше облачных ресурсов, чем раньше.
О росте спроса на CPU говорят и производители чипов. В апреле гендиректор Intel Чен Ливу заявил, что соотношение использования CPU и GPU в сценариях вывода ИИ составляет примерно 1:4. К июлю финансовый директор Intel сообщил, что оно быстро сократилось почти до 1:1. Похожие заявления недавно сделали и руководители AMD, и Arm, указав, что спрос на процессоры растет быстрее, чем ожидали в отрасли.
AWS столкнулась с этой проблемой на уровне внутренних команд. Речь идет о серверных мощностях на базе CPU внутри компании, а не о внешнем сервисе для клиентов. Из источника следует, что ограничение стало частью перестройки ресурсов в пользу внешних заказчиков.