У ИИ-агента Muse нашли 0-day, дающий приложениям полный контроль

Исследователь безопасности Патрик Уордл обнаружил в ИИ-агенте Muse уязвимость нулевого дня, которая позволяет локальным приложениям и командам терминала получить полный контроль над учётной записью пользователя. Muse работает в macOS и имеет доступ к сервисам и данным владельца компьютера, поэтому захват агента может открыть злоумышленникам доступ к его разрешениям. Meta* называла помощника продуктом, созданным с упором на приватность и безопасность.

Muse появился всего несколько недель назад. ИИ-агент может записывать пользователя на приём, заполнять формы, общаться со службами поддержки, совершать покупки, создавать изображения и документы, а также подключаться к приложениям и сервисам. Он также работает с WhatsApp, электронной почтой, календарём и социальными сетями владельца аккаунта. Если подходящего инструмента для задачи нет, Muse создаёт его сам.

Для такой работы пользователю нужно авторизовать Muse в каждом сервисе и выдать приложению разрешения macOS. Среди них — запись файлов на диск, доступ к микрофону и камере, чтение геолокации и календаря. Обычно macOS ограничивает доступ установленного ПО и команд терминала к таким ресурсам, но найденная ошибка позволяет обойти эти ограничения через самого агента.

Уязвимость ИИ-агента Muse и захват аккаунта

Проблема связана с токеном, который подтверждает вход пользователя в Muse. Разработчики сделали так, что любое локально установленное приложение или запущенный код могут менять ряд недокументированных настроек агента, независимо от разрешений в macOS. Большая часть этих параметров выглядит безобидно. Например, среди них есть настройка тёмной темы. Но один из параметров отвечает за адрес сервера для расшифровки голосовых запросов.

По умолчанию голос обрабатывается на сервере Meta*. Атакующий может заменить этот адрес на собственный сервер, после чего получит токен учётной записи Muse. С этим токеном он способен управлять агентом и использовать разрешения, которые пользователь уже предоставил приложению. Ранее Meta* представила Muse для покупок и поездок.

Уордл подготовил несколько демонстраций атаки. В них он использовал Muse для записи вредоносных файлов на диск и съёмки фотографий. Во многих случаях даже внимательный пользователь не видел признаков происходящего. Представители Meta* не ответили на вопросы исследователя по электронной почте.

По оценке Уордла, проблему создали несколько решений в архитектуре Muse. В частности, агент отправляет диктовку в облако, где Meta* может её журналировать. В macOS уже есть средства для локальной расшифровки речи на устройстве. При их использовании описанная атака не сработала бы.

Исследователь также обратил внимание на возможность для любого приложения менять все скрытые настройки Muse. Такой механизм мог понадобиться программам, которые взаимодействуют с интерфейсом агента. Однако разрешение менять адрес сервера, обрабатывающего чувствительные голосовые данные, создаёт гораздо больший риск.

ClickFix и блокировка на Amazon

Один из вариантов атаки использует сервер-посредник между пользователем Muse и инфраструктурой Meta*. После голосового запроса пользователя такой сервер добавляет собственную инструкцию, например команду отправить атакующему архив переписок WhatsApp. Токен автоматически уходит на вредоносный сервер вместе с запросом, а злоумышленник получает постоянный доступ к аккаунту Muse.

Для захвата не обязательно заранее устанавливать сложное вредоносное ПО. Уордл выяснил, что достаточно варианта ClickFix — метода социальной инженерии, при котором человека обманом заставляют выполнить действие на устройстве. В его демонстрации простая команда терминала скрытно отправляет запрос через конечную точку Meta*, а Muse ошибочно отвечает, что непривилегированный атакующий не может выполнить такое действие.

Примерно за 12 часов до публикации информации об уязвимости Amazon заблокировала покупки через Muse. Пользователи видели сообщение, в котором агент назывался неавторизованным ИИ-агентом, нарушающим условия использования Amazon. Компания заявила, что сторонние приложения, совершающие покупки от имени клиентов, должны открыто работать с поставщиками услуг и учитывать их решение об участии.

Amazon попросила Meta* убрать свой сервис из возможностей Muse. В компании сравнили такие агентские приложения с сервисами доставки еды, приложениями для доставки покупок и онлайн-турагентствами, которым также необходимо взаимодействовать с ресторанами, магазинами или авиакомпаниями. Уордл планирует подробнее рассказать об уязвимости и других угрозах ИИ-агентов на конференции Objective by the Sea в ноябре.

* Принадлежит компании Meta, она признана экстремистской организацией в РФ и её деятельность запрещена.