Голосовой ИИ научился не молчать в трубку

Пару лет назад разработчики решили сделать ИИ-ассистентов похожими на людей. Сервисы вроде Sesame AI научились вздыхать, запинаться, причмокивать и имитировать другие звуки. Вышло настолько натурально, что OpenAI даже отложили релиз аналогичной модели - официально из-за «улучшения способности отклонять нежелательный контент», неофициально - из-за роликов со стонущей, кричащей и правдоподобно имитирующей разговор по телефону нейросетью. Её по итогу отучили это делать (чем, вероятно, очень расстроили мошенников). После чего поняли, что гораздо безопаснее и логичнее делать не цифровую копию человека, которая дышит и заикается, а предсказуемый инструмент для бизнеса. Для этого работать надо не над натуральностью голоса, а над улучшением самого процесса общения.

Именно по этому пути пошла OpenAI с новой моделью GPT-Realtime-2. Она пытается убрать старую проблему голосовых ассистентов, когда после команды пользователь стоит в тишине и не понимает, работает система или зависла. Теперь, пока бот идёт в CRM или смотрит календарь, он может сказать «секунду, сейчас посмотрю» и объяснить, что делает. Голосовая модель учится одновременно вести разговор, рассуждать и обращаться к внешним системам. Если ИИ перебить и на ходу поменять задачу, он замолкнет, выслушает и перестроится. Для длинных сценариев OpenAI также увеличила контекстное окно модели с 32 до 128 тысяч токенов. По замыслу компании, разговор должен перестать ощущаться как ожидание ответа от робота.

Параллельно OpenAI обновила ещё два продукта. Модель для синхронного перевода GPT-Realtime-Translate теперь продолжает работать, если спикер в середине предложения переходит на другой язык. А алгоритм транскрибации Whisper, которого в последнее время начали теснить с рынка конкуренты вроде Nvidia Parakeet, получил потоковую расшифровку звука в реальном времени .