iOS 26 получила обновление Visual Intelligence с поддержкой анализа экрана

Apple представила расширенные возможности Visual Intelligence на WWDC 2025. Новая функция позволяет анализировать содержимое экрана iPhone и выполнять действия с отображаемыми объектами.
Ранее Visual Intelligence работала только с камерой, распознавая реальные объекты. Теперь система способна анализировать всё, что пользователь видит на экране: от элементов интерфейса до изображений в приложениях. Можно задать вопрос ChatGPT о текущем содержимом экрана или выполнить поиск похожих товаров и объектов через Google, Etsy и другие поддерживаемые платформы.
Visual Intelligence автоматически определяет отдельные элементы интерфейса. Например, при наведении на изображение лампы система предложит найти аналогичные модели в интернете. Если на экране отображается информация о событии, технология извлекает дату, время и место, предлагая добавить встречу в Календарь.
Функция также интегрирована с другими приложениями. Пользователь может нажать стандартную комбинацию кнопок для создания скриншота, а затем выбрать, сохранить или поделиться снимком, либо запустить расширенный анализ через Visual Intelligence.
Универсальный поиск по экрану с защитой приватности
Обновлённая система превращает Visual Intelligence в универсальный инструмент поиска и взаимодействия с контентом на iPhone. По заявлению Apple, технология использует подход на базе Apple Intelligence, обрабатывая данные на устройстве и обеспечивая конфиденциальность пользователя. Это позволяет получать персонализированные подсказки без передачи информации в облако.