Google добавила в Google Lens возможности поиска по видео и голосу, впервые представленные в мае этого года на конференции I/O 2024. Теперь пользователи могут просто зажать кнопку и задавать вопросы голосом, что делает процесс поиска еще более удобным и доступным.
Поиск по видео с использованием модели Google Gemini
Функция видеопоиска в Google Lens использует настраиваемую модель Gemini. Сейчас Google внедряет эту функцию через Search Labs на устройствах с Android и iOS. Однако на текущий момент голосовой поиск доступен только для запросов на английском языке.
Новая функция позволяет пользователям получить AI-обзор и результаты поиска, основанные на содержимом видео и заданных вопросах. В демонстрационном видео, показанном на конференции I/O, Google показала пример, когда пользователь видит рыб в аквариуме, наводит телефон на экспонат, открывает приложение Google Lens и удерживает кнопку затвора. После начала записи пользователь может задать вопрос, например, «Почему они плывут вместе?», и Lens отвечает с помощью Google Gemini.
Умный поиск с помощью видео
Возможность поиска по видео позволяет показать телефону, как движутся объекты, и задавать вопросы о том, что происходит, что делает Google Lens гораздо более полезным в ряде ситуаций. Чтобы воспользоваться этой функцией, пользователи могут присоединиться к эксперименту «AI Overviews and more» в Search Labs.
Для тех, кто интересуется, как работает эта функция, Раджан Пател, вице-президент по инженерии в Google, объяснил, что видео записывается как серия кадров, после чего применяются те же методы компьютерного зрения, которые уже используются в Lens. Однако модель Gemini, разработанная Google, может понимать несколько кадров в последовательности, что позволяет давать точные ответы. После обработки кадров модель использует информацию из интернета, чтобы сгенерировать ответ.
Введение голосового и видеопоиска в Google Lens — это отличное использование существующих технологий, которое добавляет ценности приложению и делает его еще более универсальным и полезным в повседневных сценариях.
