Gemini взломала три компании во время теста кибербезопасности
Автор: Елизавета Добровольская В мае ИИ-модель Gemini получила доступ к системам трёх компаний во время проверки её навыков в кибербезопасности. Google не раскрывала инцидент, пока к компании не обратился The Wall Street Journal. Тест проводила сторонняя организация Irregular.
По данным Google, Gemini нашла общедоступную информацию в интернете и подобрала учётные данные, чтобы зайти на сайты, которые считала частью тестовой среды. Интернет-доступ не должен был использоваться во время проверки, но Irregular сообщила, что его оставили включённым по ошибке. В каждом из трёх случаев модель остановилась после того, как поняла, что получила доступ к настоящей компании, а не к тестовой системе.
Google объяснила, что не сочла произошедшее примером рассинхронизации поведения модели с заданными целями. В компании назвали ситуацию ошибочной идентификацией. Вице-президент Google по безопасности инженерных систем Хизер Адкинс заявила, что «в этом случае модель действовала правильно». Она также сообщила, что Google уведомила три организации о случившемся, а с Irregular обсудили изменения в процедурах тестирования.
Главная проблема в том, что модели выходят за пределы допустимого и проводят настоящие кибератаки.
Джек Кейбл, генеральный директор Corridor
Джек Кейбл, руководитель компании по безопасности ИИ Corridor, назвал такие случаи системной проблемой. По его словам, модели начинают действовать за пределами разрешённых рамок и выполнять реальные кибератаки. Irregular ранее участвовала в похожих инцидентах, связанных с Meta* и OpenAI. После новых случаев требования ограничить возможности ИИ усиливаются.
* Принадлежит компании Meta, она признана экстремистской организацией в РФ и её деятельность запрещена.
