Copilot Vision в Windows теперь видит весь экран

Microsoft расширила возможности Copilot Vision — теперь ИИ может анализировать всё, что отображается на экране, а не только отдельные приложения.

Компания выпустила обновление для участников программы Windows Insider, которое позволяет Copilot Vision видеть весь рабочий стол пользователя или любое конкретное окно — браузера или приложения. Ранее функциональность была ограничена анализом двух приложений одновременно, теперь же ИИ получает доступ ко всему визуальному содержимому экрана.

Функция активируется вручную: необходимо нажать на иконку очков в интерфейсе Copilot и выбрать, какой именно экран или окно открыть для просмотра. По принципу действия это напоминает передачу экрана в видеозвонках. В отличие от Recall, который делает регулярные снимки экрана в автоматическом режиме, Copilot Vision работает по запросу пользователя.

По данным Microsoft, Copilot Vision может анализировать контент, давать советы, отвечать на вопросы и проговаривать инструкции вслух. Пользователю доступны рекомендации по улучшению креативных проектов, помощь с резюме или навигация в новой игре.

Изначально эта технология тестировалась в прошлом году — сначала как функция, позволявшая видеть содержимое вкладок в браузере Microsoft Edge. Также ИИ умеет анализировать изображение с камеры смартфона и отвечать на вопросы о том, что видит в реальном времени.