
Алгоритм обрабатывает один аудиошаблон и на его основе синтезирует сотни таких же фраз, но при этом по скрипту может менять в них отдельные слова. При этом синтезированная речь в Brand Voice Call Center звучит естественно и передает все детали речи живого человека из шаблона: эмоции, интонации, изменения громкости. В качестве шаблонов компании могут использовать фрагменты телефонных записей реальных операторов своих колл-центров. Это первый подобный сервис на русском языке, выпущенный для коммерческого использования.
Для обучения Brand Voice Call Center специалисты Yandex Cloud использовали датасет с тысячами часов записей различных дикторов на русском языке из открытого доступа. Подобный опыт позволяет работать практически с любым голосом без предварительной подготовки. Чтобы речь звучала более естественно, для обучения моделей в сервисе использовали трансформерную архитектуру. В отличие от других нейронных сетей, трансформеры позволяют обучать ML-модели параллельно на современных видеокартах (GPU) и концентрироваться на важных частях текста, что повышает качество синтеза.
Сейчас сервис уже использует медицинская компания и крупный телеком-оператор, который использует Brand Voice Call Center для своих клиентов и видит рост конверсии на 20% в голосовых каналах продаж с помощью этой технологии. А по данным компании АТС, персонализированная речь помогает в разы повысить лояльность клиентов к виртуальным операторам.