В «Яндекс Браузере» нейросеть «Алиса» обзавелась новой опцией для ПК, iOS и Android, разработанной для облегчения использования браузера слабовидящими и незрячими пользователями.
Как заявили представители «Яндекса», теперь «Алиса» способна озвучивать содержание изображений и, при необходимости, предоставлять более детальное описание. Это позволит незрячим и слабовидящим пользователям получать информацию из визуальных материалов, таких как иллюстрации в статьях, снимки продукции в онлайн-магазинах и изображения в социальных сетях.
Чтобы прослушать голосовое описание, пользователю нужно нажать кнопку «Описать картинку» в контекстном меню любого изображения в интернете. Также эта кнопка доступна на плавающей панели, возникающей при наведении курсора на изображение. Кроме того, можно воспользоваться программой экранного доступа, чтобы сфокусироваться на изображении и прослушать его описание. Параметры функции находятся в разделе «Специальные возможности» основных настроек браузера.
В основе работы функции лежит мультимодальная нейросеть, анализирующая как текст, так и изображения. Вместо разбиения изображения на отдельные элементы, она воспринимает его целиком, что позволяет ей улавливать взаимосвязи, контекст и общее значение.
