«Яндекс» представил нейросеть, которая умеет определять эмоции по голосу – Yandex SpeechKit

Яндекс представил уникальную разработку – «эмпатичную» нейросеть на базе технологии распознавания речи Yandex SpeechKit. Эта нейросеть способна определить эмоции человека по его голосу и содержанию разговора. В компании поделились информацией о том, для чего предназначена новая разработка и какими возможностями она обладает.

За счет анализа голоса, содержания речи, ее скорости, высоты и тембра, нейросеть способна определять эмоциональное состояние в реальном времени. Более того, она также способна определить пол человека и пометить каждую реплику в диалоге. В будущем ИИ обучат работать с YandexGPT, что позволит нейросети определять сложные эмоции, такие как неуверенность и сарказм. В Яндексе полагают, что эта разработка найдет свое применение на практике, помогая в реальном времени отслеживать реплики, вызывающие негативные эмоции у человека, и помогая бизнесу находить нужный подход к клиентам. Кроме того, она сможет автоматически реагировать на нестандартные ситуации во время звонков. Например, в случае выявленного хамства в адрес виртуального ассистента она переведет разговор на оператора для решения проблемы.

Помимо интеграции с YandexGPT, в планах компании — расширить диапазон распознаваемых эмоций и дать возможность корпоративным пользователям выборочно отслеживать чувства клиентов. Нейросеть представлена как часть платформы облачных вычислений Yandex Cloud.