Приложение «Алиса AI» получило режим помощи незрячим
Яндекс обновил мобильное приложение «Алиса AI» и добавил в него режим, который помогает незрячим и слабовидящим пользователям ориентироваться с помощью камеры смартфона. Функция работает в Live-режиме: пользователь наводит камеру на объект, задаёт вопрос голосом и получает голосовой ответ. Обновление уже доступно бесплатно на Android и iOS.
По описанию компании, сервис может подсказать, где находится вход в магазин, прочитать текст на дисплее бытовой техники или помочь разобрать продукты в холодильнике. В основе функции лежит мультимодальная модель Alice AI VLM, которая распознаёт объекты в кадре и формирует описание. История запросов сохраняется в чате, поэтому к ответам можно вернуться позже.
Live-режим запускается из меню приложения или голосовой командой. Голосовая активация сейчас работает только на Android, для iOS её обещают добавить позднее. Яндекс показал обновление на фестивале Young Con в Москве. Менеджер по цифровой доступности компании Анатолий Попко назвал функцию инструментом для самостоятельного решения бытовых задач без посторонней помощи.
Яндекс выходит в уже сформированный сегмент ассистивных сервисов компьютерного зрения. У Microsoft несколько лет существует Seeing AI, у Google есть приложение Lookout, а сервис Be My Eyes в 2023 году запустил Visual Interpreter на базе моделей OpenAI. Отличие подхода Яндекса в том, что функция встроена в массовое потребительское приложение, а не вынесена в отдельный специализированный сервис.
Для компании это ещё и способ показать практическое применение собственных мультимодальных моделей за пределами поиска и чатов. По данным ВОЗ, в мире более 2,2 млрд человек живут с нарушениями зрения, и часть из них нуждается в инструментах навигации и распознавания объектов в повседневной среде. Если Яндекс добавит на iOS голосовой запуск и удержит точность распознавания в сложных сценах, функция сможет конкурировать не только с локальными ассистентами, но и с международными приложениями для доступности.
