Copilot научился видеть ваш экран: новая функция в Edge

Microsoft делает ещё один шаг к интеграции искусственного интеллекта в повседневное использование браузера: функция Copilot Vision теперь доступна всем пользователям Edge — бесплатно и без подписки. Благодаря этой опции Copilot способен буквально анализировать содержимое открытого сайта и помогать в режиме реального времени. О запуске новой возможности сообщил генеральный директор Microsoft AI Мустафа Сулейман на платформе Bluesky.

Copilot Vision — это интерактивный голосовой помощник, который может «видеть» всё, что отображается на экране, и подсказывать, что делать дальше. Это как цифровой спутник, способный не только понимать контекст, но и адаптироваться под задачи пользователя.

Функция работает только после добровольного подключения: пользователь должен вручную согласиться на активацию Copilot Vision. После этого помощник может сопровождать вас во время готовки — подсказывая шаги рецепта, или, например, помогать разбирать описание вакансии и даже формулировать ответы для собеседования или черновики сопроводительных писем. Хотя Microsoft иронично замечает, что использовать ИИ для написания резюме — идея спорная.

По официальным данным, Vision может подсвечивать отдельные участки страницы, чтобы помочь быстрее ориентироваться, но не совершает действий за пользователя — ссылки не открывает, кнопки не нажимает. Это исключительно наблюдательная и направляющая система.

Более глубокая интеграция Vision в систему пока остаётся прерогативой платной подписки Copilot Pro. В рамках Pro-версии ИИ может взаимодействовать не только с браузером, но и с десктопными приложениями: от Photoshop до видеоредакторов и даже игр. Например, Vision недавно демонстрировал, как подсказывает прохождение Minecraft в реальном времени.

Как включить Copilot Vision в Edge

Чтобы попробовать новую функцию, нужно открыть сайт Microsoft в браузере Edge, где появится предложение активировать Vision. После согласия, в боковой панели Copilot появится иконка микрофона — именно с неё начинается сессия взаимодействия. При запуске браузер изменяет цветовую гамму, а звук сигнализирует о начале работы.

Правда, как отмечают журналисты, процесс может быть нестабильным: иногда браузеру требуется несколько попыток, чтобы предложить активацию, а в отдельных случаях панель управления так и не появляется. На старых устройствах с ограниченными ресурсами запуск может проходить с ошибками.

Microsoft подчёркивает, что во время работы Vision компания фиксирует только ответы Copilot, но не собирает информацию о содержимом страницы, изображениях или действиях пользователя. Отключить функцию можно в любой момент — достаточно завершить сессию или закрыть окно браузера.