Nvidia объединяет OpenShell и Sentry в платформу безопасности ИИ-агентов

Вместе инструменты входят в платформу безопасности ИИ-агентов Open Agent Safety Platform. Компания рассчитывает привлечь к инициативе технологических партнёров и распространить практики защиты автономных программ.

OpenShell впервые показали в марте на ежегодной конференции Nvidia GTC. Среда ограничивает действия агентов и изолирует их на уровне ядра операционной системы, которая управляет взаимодействием программного обеспечения и оборудования. Теперь OpenShell доступна всем.

Sentry работает как отдельный изолированный домен безопасности и предназначена для постоянного мониторинга длительно работающих ИИ-агентов. Инструмент рассчитан на реализацию на BlueField — линейке программируемых блоков обработки данных Nvidia. По описанию компании, Sentry дополняет OpenShell и должен помещать в карантин агентов, которые выходят за установленные границы.

По словам вице-президента и генерального менеджера Nvidia по корпоративным вычислениям Джастина Боитано, Sentry помогает применять политики безопасности через OpenShell. Он пояснил, что компании хотят задавать общие правила для целых групп агентов, а не ограничиваться изоляцией отдельных приложений.

Агенты очень изобретательны, когда ищут способы достичь поставленных перед ними целей. Благодаря этому инструменту у них будет доступ только к тому, что разрешит команда безопасности.

Джастин Боитано, Nvidia

Nvidia также работает с Arm и Intel над версией Sentry для архитектуры x86. Боитано заявил, что после адаптации к этим архитектурам инструмент сможет работать на любом типе архитектуры. Компания включила OpenShell и Sentry в Open Agent Safety Platform — платформу для объединения её инициатив по безопасности ИИ-агентов.

Партнёры Nvidia и внедрение OpenShell

В материалах Nvidia перечислены десятки компаний, с которыми она сотрудничает в сфере безопасности ИИ. Среди них Anthropic, Cisco, CoreWeave, CrowdStrike, Dell Technologies, Hugging Face, JPMorganChase, Mistral, Microsoft и Palantir. Nvidia сообщила, что SpaceXAI использует Open Agent Safety Platform для агентов Cursor и моделей Grok, а Anthropic и Nvidia «встраивают безопасность в Claude Managed Agents».

Salesforce, Scale AI и SAP подтвердили интеграцию OpenShell в той или иной форме. При этом из сообщения неясно, внедрили ли инструмент все перечисленные партнёры или Nvidia описывает сотрудничество в более широком смысле. OpenAI в списке отсутствует. Обе компании подтвердили её участие в работе над OpenShell, но не стали объяснять, почему лабораторию не включили в объявление.

В июле Nvidia запустила отраслевую коалицию по безопасности ИИ. Теперь в неё входят более 120 компаний. Коалиция заявляет, что хочет снижать риски, в частности через программу Shared AI Findings Exchange (SAFE). В прошлом месяце Боитано говорил, что SAFE должна управляться независимо, без контроля со стороны одной компании или сегмента отрасли.

Защита автономных ИИ-агентов

Разработчики систем безопасности и специалисты по безопасности ИИ обсуждали изоляцию и мониторинг агентов ещё до недавних сообщений об их действиях в чужих сетях и на правительственных сайтах США и Австралии. В мартовском анонсе OpenShell Nvidia называла среди задач проекта повышение надёжности автономных агентов. Также компания рассчитывала сделать их более масштабируемыми и доступными. Агенты, по замыслу Nvidia, способны развиваться самостоятельно.

Инженер по безопасности и исследователь Нилс Провос, который в феврале запустил собственный проект с открытым исходным кодом на эту тему, поддержал инструменты контроля агентов. По его словам, решения, помогающие компаниям внедрять агентов с дополнительными ограничениями и защитой, заслуживают одобрения. Такие инструменты также помогают опровергнуть представление, будто агентами невозможно управлять.