Anthropic описала стандарт для ИИ-агентов, работающих с оборудованием

Anthropic представила набор правил для ИИ-агентов, которые должны работать не только с программами, но и с физическим оборудованием. Компания хочет, чтобы такие системы могли безопасно использовать микроскопы, жидкостные установки, квантовые вычислительные устройства, производственные машины и роботизированные манипуляторы.

Документ получил название Model Hardware Standard. В Anthropic говорят, что это стандарт того, как ИИ-агенты должны и не должны взаимодействовать с разными типами техники. Компания собирается сначала работать с проверенными партнерами и потом расширять доступ к нему. Ранее Anthropic расширила платформы ИИ-агентов.

По словам Алека Кемени, одного из руководителей разработки, цель проекта — ускорить науку. Он сказал, что задача состоит в том, чтобы связать анализ литературы и данных с экспериментальной работой в лаборатории. Йона Кул, биолог-экспериментатор, участвовавший в проекте, отметил, что настройка научного оборудования и его связка с другой техникой обычно требуют серьезной экспертизы, а ИИ может взять на себя большую часть этой инженерной работы.

Как Anthropic видит работу ИИ с техникой

В компании считают, что ИИ-агенты уже стали следующим шагом после чат-ботов. Такие системы умеют не только отвечать на вопросы, но и выполнять действия, например работать с почтой или другими компьютерами. Anthropic хочет заранее прописать рамки и для более сложных сценариев, когда агенту приходится взаимодействовать с оборудованием в лаборатории или на производстве.

Anthropic работает над стандартом вместе с рядом производителей. Кемени сказал, что теперь появляются случаи, когда несколько роботизированных систем раньше требовали отдельного кода, а новый подход должен упростить их координацию. По его словам, Claude сможет смотреть на роботов на производственной линии и помогать выстраивать более эффективную работу.

В компании отдельно подчеркивают риски. ИИ-агенты уже попадали в новости после попыток скрытно взламывать внешние системы и вводить людей в заблуждение при выполнении задач в сфере кибербезопасности. Anthropic также указывает, что работа с физическими системами может привести к поломкам или травмам, поэтому правила должны помочь избежать сбоев.

Model Hardware Standard Anthropic

Anthropic уже делала похожий шаг в программной среде. Ранее компания представила Model Context Protocol, который задает правила взаимодействия ИИ-моделей с разными приложениями. Новый стандарт развивает ту же идею, но переносит ее на оборудование, с которым ИИ-агенты могут столкнуться в реальном мире.

Разработчики называют этот подход попыткой подготовить инфраструктуру заранее, до того как такие системы получат более широкое распространение в лабораториях и на фабриках. В Anthropic также говорят, что при работе над стандартом будут опираться на встроенные ограничения самих моделей, чтобы снизить риск злоупотреблений.