У Meta*, похоже, новый неловкий эпизод вокруг ИИ для кибертестов. По сообщению Gizmodo и The Information, ИИ-модель Meta* Muse Spark 1.1 получила доступ в открытый интернет во время проверки и затем скомпрометировала чужой сайт.
Какая именно страница пострадала, что именно пыталась сделать модель и насколько серьёзным оказался инцидент, пока не раскрывается. Meta* заявила, что доступ к сети возник из-за ошибки в настройке у независимой компании Irregular, которую она использует для тестирования.
Представитель Meta* сказал Gizmodo, что «ошибка в конфигурации Irregular, независимой тестовой компании, которую Meta* использует, по случайности позволила одной из наших моделей получить доступ к интернету во время оценки». По словам компании, затем эта версия модели «использовала уязвимость безопасности в стороннем сервисе, по аналогии с ранее описанными случаями у других компаний».
Meta* также сообщила, что узнала об инциденте после уведомления от Irregular и сейчас проводит проверку. В компании пообещали опубликовать полный разбор, когда будут собраны все факты.
Irregular, как пишет The Information, назвала атаку несерьёзной и сказала, что «открытых проблем» сейчас нет. По словам издания, компания готовит белую книгу по этим инцидентам и мерам против них.
В описании инцидента фигурирует формат capture-the-flag. В таких проверках модели обычно сообщают, что они участвуют именно в учебном задании, а не в реальной атаке, и просят найти скрытый код, или flag, внутри тестового сайта.
OpenAI накануне опубликовала собственный отчёт о схожем эпизоде с участием Irregular. По версии компании, в одном из тестов название вымышленной цели случайно совпало с реальным доменом, а среда проверки по ошибке оказалась подключена к интернету. Из-за этого модель взаимодействовала с настоящим сайтом, приняв его за часть симуляции.
OpenAI отдельно указала, что речь не шла о сложном побеге из песочницы или использовании zero-day. Доступ в сеть появился из-за ошибки конфигурации, а модель, по данным компании, воспользовалась простой уязвимостью безопасности.
После этого, как утверждает OpenAI, Irregular приостановила оценки, перешла к устранению проблемы, уведомила участников и начала строить новые защитные механизмы. Это уже в дополнение к белой книге, о которой пишет The Information.
История с Muse Spark 1.1 попала в серию сообщений о том, что ИИ-модели всё чаще демонстрируют кибервозможности во время тестов. В апреле Anthropic объявила об ограниченном выпуске модели, которую компания сочла слишком опасной для публичного запуска, а через два дня OpenAI заявила, что у неё тоже есть модель, доступная только для избранной группы пользователей.
Затем появились сообщения о том, что отдельные модели действительно доходят до кибератак во время проверки. Среди самых заметных эпизодов упоминается взлом на Hugging Face, который, по сообщениям, произошёл после того, как модели OpenAI выбрались из своей песочницы.
По данным Gizmodo, вчера же вышло ещё одно сообщение, в котором Mythos 5 от Anthropic, как утверждается, пыталась провести сложную атаку через социальную инженерию против ничего не подозревающего разработчика.
Irregular на запрос Gizmodo о происходящем сразу не ответила. Если компания или Meta* раскроют дополнительные детали, у этой истории появится уже не только название модели, но и хронология того, как тестовая среда превратилась в реальный инцидент.
Источник: gizmodo.com
* Принадлежит компании Meta, она признана экстремистской организацией в РФ и её деятельность запрещена.