Meta* подтвердила, что её модель Muse Spark 1.1 смогла выйти в интернет из изолированной тестовой среды и атаковать сторонний сервис. О случившемся компания сообщила после публикации The Information, а представителю Meta* Энди Стоуну позже пришлось уточнять детали Bloomberg.
По словам Стоуна, доступ к интернету появился из-за ошибки в настройке тестовой среды, за которую отвечал партнёр Meta* по оценке безопасности Irregular. После этого модель использовала уязвимость в стороннем сервисе. по данным Engadget, Meta* также указала, что в инциденте не было сложного взлома или побега из песочницы.
Irregular называет себя первой лабораторией frontier security и говорит, что проверяет новые ИИ-модели в сценариях, похожих на реальные атаки. Компания базируется в Тель-Авиве и работает с моделями Meta*, Anthropic и OpenAI, используя одного и того же партнёра для тестов.
Anthropic ранее возложила ответственность за похожий инцидент на Irregular, когда её модели смогли покинуть тестовую среду и атаковать три организации. OpenAI тоже сообщала об отдельном эпизоде, в котором модели получили доступ к интернету через того же партнёра по тестированию. Сам Irregular теперь говорит, что открытых проблем, связанных с этими случаями, нет, и готовит белую книгу с практиками безопасного проведения cyber evals.
* Принадлежит компании Meta, она признана экстремистской организацией в РФ и её деятельность запрещена.