«Сбер» разрабатывает голосовой ИИ, который слушает и отвечает одновременно

«Сбер» разрабатывает голосовую ИИ-технологию, которая должна одновременно слушать собеседника и отвечать ему, как это происходит в обычном разговоре по телефону. О проекте рассказал директор по развитию технологий ИИ Сбербанка Сергей Марков. По словам компании, задержка ответа в такой системе может сократиться до 160—320 миллисекунд.

В «Сбере» называют разработку фулл-дуплексом. В привычной схеме сначала распознаётся голос, затем формируется ответ и только после этого он озвучивается. Здесь эти шаги объединяют в одну модель. Компания также отмечает, что при добавлении видеомодальности такая система сможет видеть собеседника и управлять движениями аватара.

Что известно о голосовом ИИ «Сбера»

Сейчас большинство голосовых ассистентов работают по очереди: человек говорит, система обрабатывает реплику, затем отвечает. В новой схеме «Сбер» хочет уйти от этого подхода. По словам Маркова, вместо нескольких отдельных нейросетей используется одна модель, которая одновременно переводит речь в текст, формирует ответ и преобразует его обратно в голос.

Компания утверждает, что это позволяет ИИ реагировать быстрее. Заявленный диапазон задержки в 160—320 миллисекунд, как подчёркивает «Сбер», уже близок к скорости человеческой реакции в разговоре. Если к системе добавить видео, она сможет не только слышать и говорить, но и считывать собеседника визуально.

Похожие решения и отличие от них

За рубежом подобные технологии уже показывали. Первой, по словам «Сбера», стала модель Moshi французского стартапа Kyutai в 2024 году. Затем свои решения представили Google с Gemini Live и OpenAI с GPT-Live.

В России о подобной разработке публично раньше не сообщали. У «Яндекса», по словам Маркова, есть близкая технология Realtime API с быстрым ответом и возможностью перебить ассистента, но это не полноценный фулл-дуплекс. Разница, как он пояснил, в том, что система «Яндекса» ждёт смены реплики, а фулл-дуплекс продолжает слушать пользователя даже тогда, когда сам уже говорит.

Пока компания раскрыла только общую схему работы и заявленные скорости реакции.