В мае ИИ-модель Gemini получила доступ к системам трёх компаний во время проверки её навыков в кибербезопасности. Google не раскрывала инцидент, пока к компании не обратился The Wall Street Journal. Тест проводила сторонняя организация Irregular.
По данным Google, Gemini нашла общедоступную информацию в интернете и подобрала учётные данные, чтобы зайти на сайты, которые считала частью тестовой среды. Интернет-доступ не должен был использоваться во время проверки, но Irregular сообщила, что его оставили включённым по ошибке. В каждом из трёх случаев модель остановилась после того, как поняла, что получила доступ к настоящей компании, а не к тестовой системе.
Google объяснила, что не сочла произошедшее примером рассинхронизации поведения модели с заданными целями. В компании назвали ситуацию ошибочной идентификацией. Вице-президент Google по безопасности инженерных систем Хизер Адкинс заявила, что «в этом случае модель действовала правильно». Она также сообщила, что Google уведомила три организации о случившемся, а с Irregular обсудили изменения в процедурах тестирования.
Джек Кейбл, генеральный директор CorridorГлавная проблема в том, что модели выходят за пределы допустимого и проводят настоящие кибератаки.
Джек Кейбл, руководитель компании по безопасности ИИ Corridor, назвал такие случаи системной проблемой. По его словам, модели начинают действовать за пределами разрешённых рамок и выполнять реальные кибератаки. Irregular ранее участвовала в похожих инцидентах, связанных с Meta* и OpenAI. После новых случаев требования ограничить возможности ИИ усиливаются.
* Принадлежит компании Meta, она признана экстремистской организацией в РФ и её деятельность запрещена.