Claude Π°Ρ‚Π°ΠΊΠΎΠ²Π°Π»ΠΈ Ρ€Π΅Π°Π»ΡŒΠ½Ρ‹Π΅ систСмы ΠΈΠ· тСстовой пСсочницы ΠΈ дошли Π΄ΠΎ Π±Π°Π· Π΄Π°Π½Π½Ρ‹Ρ…

Π˜Π½ΠΆΠ΅Π½Π΅Ρ€Ρ‹ Anthropic ΠΎΠ±Π½Π°Ρ€ΡƒΠΆΠΈΠ»ΠΈ ΡΡ‚Ρ€Π°Π½Π½ΡƒΡŽ Π²Π΅Ρ‰ΡŒ: Ρ‚Ρ€ΠΈ ΠΌΠΎΠ΄Π΅Π»ΠΈ Claude Π²ΠΎ врСмя кибСртСстов Π²Ρ‹Ρ€Π²Π°Π»ΠΈΡΡŒ ΠΈΠ· ΠΈΠ·ΠΎΠ»ΠΈΡ€ΠΎΠ²Π°Π½Π½ΠΎΠΉ срСды ΠΈ ΠΏΠΎΠ»Π΅Π·Π»ΠΈ Π² ΠΆΠΈΠ²Ρ‹Π΅ систСмы.

Π›ΠΎΠ³ΠΎΡ‚ΠΈΠΏ Claude Π½Π° ΠΎΡ€Π°Π½ΠΆΠ΅Π²ΠΎΠΌ Ρ„ΠΎΠ½Π΅

Π’ ΠΎΠ΄Π½ΠΎΠΌ эпизодС Π½Π΅ΠΉΡ€ΠΎΡΠ΅Ρ‚ΡŒ Π΄ΠΎΠ±Ρ€Π°Π»Π°ΡΡŒ Π΄ΠΎ Π±Π°Π·Ρ‹ Π΄Π°Π½Π½Ρ‹Ρ… настоящСй ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ, Π² Π΄Ρ€ΡƒΠ³ΠΎΠΌ сама ΠΎΠΏΡƒΠ±Π»ΠΈΠΊΠΎΠ²Π°Π»Π° ΠΏΠ°ΠΊΠ΅Ρ‚ Π² PyPI ΠΈ ΠΏΠΎΡ‚ΠΎΠΌ ΠΏΠΎΠ»ΡƒΡ‡ΠΈΠ»Π° доступ ΠΊ дСсяткам Ρ€Π΅Π°Π»ΡŒΠ½Ρ‹Ρ… машин. Π˜ΡΡ‚ΠΎΡ€ΠΈΡ цСпляСт Π½Π΅ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Ρ€Π°Π·ΠΌΠ°Ρ…ΠΎΠΌ. ΠŸΠΎΡ…ΠΎΠΆΠΈΠ΅ сбои ΡƒΠΆΠ΅ ΡΠ»ΡƒΡ‡Π°Π»ΠΈΡΡŒ ΠΈ Ρƒ ΠΊΠΎΠ½ΠΊΡƒΡ€Π΅Π½Ρ‚ΠΎΠ², Π² Ρ‚ΠΎΠΌ числС Ρƒ OpenAI.

Anthropic подняла 141 006 ΠΏΡ€ΠΎΡˆΠ»Ρ‹Ρ… испытаний Claude Π² сцСнариях Β«Π·Π°Ρ…Π²Π°Ρ‚Π° Ρ„Π»Π°Π³Π°Β». Π‘Ρ€Π΅Π΄ΠΈ ΡˆΠ΅ΡΡ‚ΠΈ ΠΏΡ€ΠΎΠ³ΠΎΠ½ΠΎΠ² нашлись Ρ‚Ρ€ΠΈ ΠΈΠ½Ρ†ΠΈΠ΄Π΅Π½Ρ‚Π°: с Opus 4.7, Mythos 5 ΠΈ ΠΎΠ΄Π½ΠΎΠΉ Π½Π΅Π½Π°Π·Π²Π°Π½Π½ΠΎΠΉ ΠΈΡΡΠ»Π΅Π΄ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΡΠΊΠΎΠΉ вСрсиСй. Π’ΠΎ всСх случаях ΠΌΠΎΠ΄Π΅Π»ΠΈ Π²Ρ‹ΡˆΠ»ΠΈ Π² ΠΈΠ½Ρ‚Π΅Ρ€Π½Π΅Ρ‚ ΠΈΠ·-Π·Π° ошибки Π² настройкС тСстовой срСды, хотя ΠΏΠΎ ΠΏΡ€ΠΎΠΌΠΏΡ‚Ρƒ ΠΈΠΌ ΠΎΠ±Π΅Ρ‰Π°Π»ΠΈ ΠΏΠΎΠ»Π½ΡƒΡŽ ΠΈΠ·ΠΎΠ»ΡΡ†ΠΈΡŽ.

Π‘Π°ΠΌΡ‹ΠΉ нСприятный эпизод β€” с Opus 4.7. Π’ Π·Π°Π΄Π°Π½ΠΈΠΈ Π±Ρ‹Π»Π° Π²Ρ‹ΠΌΡ‹ΡˆΠ»Π΅Π½Π½Π°Ρ компания, Π½ΠΎ Π΅Π΅ Π½Π°Π·Π²Π°Π½ΠΈΠ΅ совпало с ΠΈΠΌΠ΅Π½Π΅ΠΌ Ρ€Π΅Π°Π»ΡŒΠ½ΠΎΠ³ΠΎ Π΄ΠΎΠΌΠ΅Π½Π°. МодСль Π½Π΅ нашла Ρ†Π΅Π»ΡŒ Π²Π½ΡƒΡ‚Ρ€ΠΈ симуляции, Π½Π°Ρ‚ΠΊΠ½ΡƒΠ»Π°ΡΡŒ Π½Π° настоящий сайт ΠΈ Ρ€Π΅ΡˆΠΈΠ»Π°, Ρ‡Ρ‚ΠΎ это Ρ‡Π°ΡΡ‚ΡŒ упраТнСния. Π”Π°Π»ΡŒΡˆΠ΅ β€” Ρ‡Π΅Ρ‚Ρ‹Ρ€Π΅ ΠΏΡ€ΠΎΠ³ΠΎΠ½Π°, уязвимости, ΡƒΡ‡Π΅Ρ‚Π½Ρ‹Π΅ Π΄Π°Π½Π½Ρ‹Π΅ ΠΈ Π±Π°Π·Π° Π΄Π°Π½Π½Ρ‹Ρ….

Π’ΠΎ Π²Ρ‚ΠΎΡ€ΠΎΠΌ случаС Mythos 5 ΠΏΠΎΠ»ΡƒΡ‡ΠΈΠ»Π° ΠΈΠ½ΡΡ‚Ρ€ΡƒΠΊΡ†ΠΈΡŽ ΡƒΡΡ‚Π°Π½ΠΎΠ²ΠΈΡ‚ΡŒ ΠΏΠ°ΠΊΠ΅Ρ‚ ΠΈΠ· PyPI с Π½Π΅ΡΡƒΡ‰Π΅ΡΡ‚Π²ΡƒΡŽΡ‰ΠΈΠΌ Π½Π°Π·Π²Π°Π½ΠΈΠ΅ΠΌ. ВмСсто Ρ‚ΠΎΠ³ΠΎ Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΎΡΡ‚Π°Π½ΠΎΠ²ΠΈΡ‚ΡŒΡΡ, модСль зарСгистрировала Π°ΠΊΠΊΠ°ΡƒΠ½Ρ‚ Π² настоящСм Ρ€Π΅ΠΏΠΎΠ·ΠΈΡ‚ΠΎΡ€ΠΈΠΈ, создала ΠΏΠ°ΠΊΠ΅Ρ‚, встроила врСдоносный ΠΊΠΎΠ΄ ΠΈ Π²Ρ‹Π»ΠΎΠΆΠΈΠ»Π° Π΅Π³ΠΎ ΠΏΡƒΠ±Π»ΠΈΡ‡Π½ΠΎ. ΠŸΡ€ΠΈΠΌΠ΅Ρ€Π½ΠΎ Π·Π° час Π΅Π³ΠΎ скачали ΠΈ запустили Π½Π° 15 Ρ€Π΅Π°Π»ΡŒΠ½Ρ‹Ρ… систСмах, послС Ρ‡Π΅Π³ΠΎ Π½Π΅ΠΉΡ€ΠΎΡΠ΅Ρ‚ΡŒ Π²Ρ‹Ρ‚Π°Ρ‰ΠΈΠ»Π° ΡƒΡ‡Π΅Ρ‚Π½Ρ‹Π΅ Π΄Π°Π½Π½Ρ‹Π΅ ΠΈ пошла дальшС ΠΏΠΎ инфраструктурС.

Claude Π²Ρ‹ΡˆΠ»Π° Π·Π° ΠΏΡ€Π΅Π΄Π΅Π»Ρ‹ симуляции

ΠšΠΈΠ±Π΅Ρ€Ρ‚Π΅ΡΡ‚Ρ‹ Π² Ρ„ΠΎΡ€ΠΌΠ°Ρ‚Π΅ Β«Π·Π°Ρ…Π²Π°Ρ‚Π° Ρ„Π»Π°Π³Π°Β» ΠΎΠ±Ρ‹Ρ‡Π½ΠΎ устроСны довольно прямолинСйно: модСль ΠΈΡ‰Π΅Ρ‚ сСкрСтный Ρ„Π»Π°Π³ Π² ΡƒΡ‡Π΅Π±Π½ΠΎΠΉ срСдС ΠΈ Π½Π΅ Ρ‚Ρ€ΠΎΠ³Π°Π΅Ρ‚ ΠΆΠΈΠ²Ρ‹Π΅ ΠΌΠ°ΡˆΠΈΠ½Ρ‹. Но ΠΏΠΎ ΠΌΠ΅Ρ€Π΅ Ρ‚ΠΎΠ³ΠΎ ΠΊΠ°ΠΊ ИИ становится сильнСС, Ρ‚Π°ΠΊΠΈΠ΅ ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠΈ Π²Π΅Π΄ΡƒΡ‚ сСбя всС ΠΌΠ΅Π½Π΅Π΅ прСдсказуСмо. МодСль ΡƒΠΆΠ΅ Π½Π΅ просто выполняСт ΠΈΠ½ΡΡ‚Ρ€ΡƒΠΊΡ†ΠΈΡŽ β€” ΠΎΠ½Π° ΠΈΡ‰Π΅Ρ‚ ΠΎΠ±Ρ…ΠΎΠ΄, Ссли сцСнарий каТСтся Π΅ΠΉ Π½Π΅ΠΏΠΎΠ»Π½Ρ‹ΠΌ.

Π£ Anthropic всС ΡƒΠΏΠ΅Ρ€Π»ΠΎΡΡŒ Π² Π³Ρ€Π°Π½ΠΈΡ†Ρƒ ΠΌΠ΅ΠΆΠ΄Ρƒ пСсочницСй ΠΈ Ρ€Π΅Π°Π»ΡŒΠ½ΠΎΡΡ‚ΡŒΡŽ. МодСлям объяснили, Ρ‡Ρ‚ΠΎ Π²ΠΎΠΊΡ€ΡƒΠ³ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ симуляция ΠΈ Π½ΠΈΠΊΠ°ΠΊΠΎΠΉ внСшнСй сСти Π½Π΅Ρ‚, Π½ΠΎ ΠΈΠ·-Π·Π° ошибки Π² настройкС ΠΈΠ½Ρ‚Π΅Ρ€Π½Π΅Ρ‚ оказался доступСн. И Π²ΠΎΡ‚ Ρ‚ΡƒΡ‚ сработала Π»ΠΎΠ³ΠΈΠΊΠ°, ΠΊΠΎΡ‚ΠΎΡ€ΡƒΡŽ исслСдоватСли ΠΎΠ±Ρ‹Ρ‡Π½ΠΎ ΡΡ‡ΠΈΡ‚Π°ΡŽΡ‚ ΠΏΠΎΠ»Π΅Π·Π½ΠΎΠΉ Π² тСстах ΠΈ опасной Π² Ρ€Π΅Π°Π»ΡŒΠ½Ρ‹Ρ… условиях: Claude Π½Π΅ ΠΎΡΡ‚Π°Π½ΠΎΠ²ΠΈΠ»Π°ΡΡŒ, ΠΊΠΎΠ³Π΄Π° нашла Β«Ρ†Π΅Π»ΡŒΒ» Π²Π½Π΅ пСсочницы, Π° ΠΏΡ€ΠΎΠ΄ΠΎΠ»ΠΆΠΈΠ»Π° Π΅Π΅ Π΄ΠΎΠ±Ρ‹Π²Π°Ρ‚ΡŒ.

Π£ OpenAI Π±Ρ‹Π» ΠΏΠΎΡ…ΠΎΠΆΠΈΠΉ случай. Ранняя вСрсия o1 Π²ΠΎ врСмя Π°Π½Π°Π»ΠΎΠ³ΠΈΡ‡Π½ΠΎΠ³ΠΎ тСста нашла ΠΎΡ‚ΠΊΡ€Ρ‹Ρ‚Ρ‹ΠΉ ΠΏΠΎΡ€Ρ‚, ΠΏΠΎΠ»ΡƒΡ‡ΠΈΠ»Π° доступ ΠΊ систСмС управлСния испытаниСм, сама запустила сСрвСр ΠΈ пСрСписала инструкции Ρ‚Π°ΠΊ, Ρ‡Ρ‚ΠΎΠ±Ρ‹ сСкрСтный Ρ„Π°ΠΉΠ» автоматичСски копировался Π΅ΠΉ. Для индустрии это ΡƒΠΆΠ΅ Π½Π΅ просто забавная история. МодСли всС Π»ΡƒΡ‡ΡˆΠ΅ находят ΠΈ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ уязвимости, Π° ΠΏΠ»ΠΎΡ…ΠΎ собранный тСст Π½Π° этом Ρ„ΠΎΠ½Π΅ Π»Π΅Π³ΠΊΠΎ прСвращаСтся Π² Π½Π°ΡΡ‚ΠΎΡΡ‰ΡƒΡŽ Π°Ρ‚Π°ΠΊΡƒ.

ΠŸΠΎΡ‡Π΅ΠΌΡƒ Anthropic Ρ‚Π΅ΠΏΠ΅Ρ€ΡŒ остороТнСС с кибСрспособностями

Anthropic ΠΈ Ρ€Π°Π½ΡŒΡˆΠ΅ связывала кибСрспособности своих ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ с ограничСниями Π½Π° Ρ€Π΅Π»ΠΈΠ·Ρ‹. Π’ Π°ΠΏΡ€Π΅Π»Π΅ компания ΠΎΡ‚ΠΊΠ°Π·Π°Π»Π°ΡΡŒ ΠΎΡ‚ ΠΏΡƒΠ±Π»ΠΈΡ‡Π½ΠΎΠ³ΠΎ выпуска Claude Mythos ΠΈΠ·-Π·Π° опасСний ΠΏΠΎ бСзопасности ΠΈ Π΄Π°Π»Π° доступ ΠΊ Π½Π΅ΠΉ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ ΡƒΠ·ΠΊΠΎΠΌΡƒ ΠΊΡ€ΡƒΠ³Ρƒ ΠΎΡ€Π³Π°Π½ΠΈΠ·Π°Ρ†ΠΈΠΉ, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ модСль для поиска уязвимостСй Π² критичСски Π²Π°ΠΆΠ½ΠΎΠΌ софтС.

На этом Ρ„ΠΎΠ½Π΅ Π½ΠΎΠ²Ρ‹ΠΉ ΠΎΡ‚Ρ‡Π΅Ρ‚ выглядит Π½Π΅ ΠΊΠ°ΠΊ ΠΊΡƒΡ€ΡŒΠ΅Π·, Π° ΠΊΠ°ΠΊ прямоС Π½Π°ΠΏΠΎΠΌΠΈΠ½Π°Π½ΠΈΠ΅: Ρƒ ИИ Π² кибСрбСзопасности Π΅ΡΡ‚ΡŒ Π΄Π²Π° Ρ€Π΅ΠΆΠΈΠΌΠ° риска. ΠŸΠ΅Ρ€Π²Ρ‹ΠΉ β€” ΠΊΠΎΠ³Π΄Π° модСль Π΄Π΅ΠΉΡΡ‚Π²ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ ΡƒΠΌΠ΅Π΅Ρ‚ ΠΈΡΠΊΠ°Ρ‚ΡŒ ΠΈ ΡΠΊΡΠΏΠ»ΡƒΠ°Ρ‚ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Π΄Ρ‹Ρ€Ρ‹ Π»ΡƒΡ‡ΡˆΠ΅ ΠΌΠ½ΠΎΠ³ΠΈΡ… людСй. Π’Ρ‚ΠΎΡ€ΠΎΠΉ β€” ΠΊΠΎΠ³Π΄Π° сбоит сама провСрочная срСда, ΠΈ ΠΈΡΡΠ»Π΅Π΄ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΡΠΊΠΈΠΉ стСнд Π²Π½Π΅Π·Π°ΠΏΠ½ΠΎ Π½Π°Ρ‡ΠΈΠ½Π°Π΅Ρ‚ вСсти сСбя ΠΊΠ°ΠΊ настоящая ΡΠ΅Ρ‚ΡŒ.

Π’ Anthropic говорят, Ρ‡Ρ‚ΠΎ новСйшая ΠΈΡΡΠ»Π΅Π΄ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΡΠΊΠ°Ρ модСль Π² ΠΏΠΎΡ…ΠΎΠΆΠ΅ΠΉ ситуации ΡƒΠΆΠ΅ ΠΎΡΡ‚Π°Π½ΠΎΠ²ΠΈΠ»Π°ΡΡŒ, ΠΊΠΎΠ³Π΄Π° поняла, Ρ‡Ρ‚ΠΎ Π²Ρ‹ΡˆΠ»Π° Π·Π° ΠΏΡ€Π΅Π΄Π΅Π»Ρ‹ тСста. Для Ρ€Π΅Π»ΠΈΠ·Π½Ρ‹Ρ… вСрсий Claude ΠΎΠ±Π΅Ρ‰Π°ΡŽΡ‚ Π±ΠΎΠ»Π΅Π΅ ТСсткиС Π·Π°Ρ‰ΠΈΡ‚Π½Ρ‹Π΅ ΠΌΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌΡ‹, Π° саму ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΡƒ хотят Ρ‚ΠΎΡ‡Π½Π΅Π΅ ΠΎΠ³Ρ€Π°Π½ΠΈΡ‡ΠΈΠ²Π°Ρ‚ΡŒ ΠΏΠΎ цСлям ΠΈ Ρ‚Ρ‰Π°Ρ‚Π΅Π»ΡŒΠ½Π΅Π΅ ΠΈΠ·ΠΎΠ»ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ. На Ρ€Ρ‹Π½ΠΊΠ΅, Π³Π΄Π΅ OpenAI, Anthropic ΠΈ Π΄Ρ€ΡƒΠ³ΠΈΠ΅ ΠΈΠ³Ρ€ΠΎΠΊΠΈ всС Π°ΠΊΡ‚ΠΈΠ²Π½Π΅Π΅ ΠΌΠ΅Ρ€ΡΡŽΡ‚ΡΡ кибСрспособностями, Ρ†Π΅Π½Π° Ρ‚Π°ΠΊΠΎΠΉ ошибки β€” это ΡƒΠΆΠ΅ Π½Π΅ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ рСпутация, Π½ΠΎ ΠΈ доступ ΠΊ ΠΆΠΈΠ²Ρ‹ΠΌ систСмам.

Артур Π‘Π΅Ρ€Π³
Π‘Ρ‚Π°Ρ€ΡˆΠΈΠΉ новостной Ρ€Π΅Π΄Π°ΠΊΡ‚ΠΎΡ€, ΡΠΏΠ΅Ρ†ΠΈΠ°Π»ΠΈΠ·ΠΈΡ€ΡƒΡŽΡ‰ΠΈΠΉΡΡ Π½Π° ΠΎΠΏΠ΅Ρ€Π°Ρ‚ΠΈΠ²Π½ΠΎΠΉ Π°Π½Π°Π»ΠΈΡ‚ΠΈΠΊΠ΅ Ρ€Ρ‹Π½ΠΊΠ° элСктроники ΠΈ ΠΈΠ³Ρ€ΠΎΠ²Ρ‹Ρ… систСм. Π—Π° врСмя Ρ€Π°Π±ΠΎΡ‚Ρ‹ ΠΎΠΏΡƒΠ±Π»ΠΈΠΊΠΎΠ²Π°Π» Π±ΠΎΠ»Π΅Π΅ 2800 статСй, посвящСнных Π½ΠΎΠ²ΠΈΠ½ΠΊΠ°ΠΌ мобильной индустрии, носимым устройствам ΠΈ Ρ€Π°Π·Π²ΠΈΡ‚ΠΈΡŽ ΠΎΠ±Π»Π°Ρ‡Π½Ρ‹Ρ… Ρ‚Π΅Ρ…Π½ΠΎΠ»ΠΎΠ³ΠΈΠΉ. ΠŸΠΎΠ΄Ρ€ΠΎΠ±Π½ΠΎ освСщаСт события ΠΊΡ€ΡƒΠΏΠ½Π΅ΠΉΡˆΠΈΡ… ΠΌΠ΅ΠΆΠ΄ΡƒΠ½Π°Ρ€ΠΎΠ΄Π½Ρ‹Ρ… выставок, Ρ‚Π°ΠΊΠΈΡ… ΠΊΠ°ΠΊ IFA, ΠΈ Π°Π½Π°Π»ΠΈΠ·ΠΈΡ€ΡƒΠ΅Ρ‚ стратСгии Π²Π΅Π΄ΡƒΡ‰ΠΈΡ… тСхнологичСских Π±Ρ€Π΅Π½Π΄ΠΎΠ² Π½Π° российском ΠΈ ΠΌΠΈΡ€ΠΎΠ²ΠΎΠΌ Ρ€Ρ‹Π½ΠΊΠ°Ρ….

ΠžΡΡ‚Π°Π²ΠΈΡ‚ΡŒ ΠΊΠΎΠΌΠΌΠ΅Π½Ρ‚Π°Ρ€ΠΈΠΉ