Перейти к основному содержанию

Голос: распознавание, синтез, перебивания

Цель модуля: настроить голос агента так, чтобы он слышал клиента, звучал естественно и вовремя замолкал — на одном языке или на двух в одном звонке.
Голос настраивается на вкладке «Настройки» левой панели редактора, в карточке «Голос»; подробно — Голос. В карточке четыре группы: «Распознавание речи · модель ASR» (STT, шестерёнка «Параметры STT»), «Синтез речи · голос» (TTS, шестерёнка «Параметры TTS»), «Очерёдность реплик» (перебивания, активное слушание и фоновый звук, шестерёнка «Параметры очерёдности реплик») и сворачиваемый блок «Аудиовход · дополнительно». Определение конца реплики находится в окне «Дополнительно». Модель распознавания и голос выбираются из справочников платформы; ключи провайдеров в агенте не хранятся и не вводятся. Языки, на которых агент говорит, задаются не здесь, а полем «Языки агента» в карточке «Агент и промпт»: распознавание слушает все языки агента, голос говорит на текущем языке звонка.
Шестерёнка «Параметры STT»: параметры модели и провайдера

STT — что агент слышит: параметры модели и провайдера. Модель распознавания выбирается из справочника.

Шестерёнка «Параметры STT»: параметры модели и провайдера
Слова-подсказки. Название компании, услуги, имена специалистов и термины модель распознаёт точнее, если перечислить их в поле «keywords (через запятую, вес — «слово:1.5»)» шестерёнки «Параметры STT». Поле есть у моделей Deepgram, Cybernet, Soniox, Azure, AssemblyAI и Gladia; вес через двоеточие понимает Deepgram. У моделей Cybernet свои правила:
  • подсказки уходят в распознавание, только если паспорт параметров выбранной модели объявляет keywords; иначе проверка перед публикацией предупредит, что они не отправляются;
  • фраза — от 3 до 80 символов, не больше 10 слов, только кириллица, без латиницы, цифр и повторов; фразу вне этих правил сервис отбрасывает, и проверка об этом предупреждает;
  • фраз больше, чем принимает модель, — ошибка проверки: такой запрос сервис отклонил бы целиком.
Подсказки нужны прежде всего для лексики, которую модель слышит хуже: названий операций, продуктов и карт, терминов и аббревиатур. Перечислите слова и фразы через запятую и пишите их так, как их произносят:
  • кириллицей; казахские буквы тоже можно — «салық», «төлем»;
  • числа — словами: «два ноль», а не «2.0»;
  • аббревиатуру, которую читают словом, — заглавными: «ЦОН», «ИИН»;
  • аббревиатуру, которую читают по буквам, — буквами: «ка эн пэ», а не «КНП».
Регистр, ударения, дефисы и знаки препинания не важны. Фразу с латиницей, цифрами или аббревиатурой из заглавных без гласных — например «КНП», «SWIFT», «3D secure» — сервис отбрасывает. Например:
  • для банка — эквайринг, овердрафт, кэшбэк, ИИН, ЦОН, ка эн пэ, свифт перевод;
  • для клиники в Казахстане — Шипагер, эндокринолог, анализ на гемоглобин, ЭКГ;
  • для клиники в США — Medicaid, Dr. Ramirez.
Шестерёнка «Параметры TTS»: формат вывода и оптимизация задержки

TTS — как агент звучит. В шестерёнке — формат вывода и оптимизация задержки. Сам голос, его модель и настройки выбираются в окне выбора голоса, а резервный голос — в «Дополнительно» → «Резервные сервисы».

Шестерёнка «Параметры TTS»: формат вывода и оптимизация задержки
Окно выбора голоса. Нажмите на голос в группе «Синтез речи · голос» — откроется окно из двух колонок. Слева — список: поиск, «Платформенные» / «Свои», вкладки провайдеров и фильтры «Модель», «Пол», «Акцент» и «⚡ Низкая задержка». В списке только голоса, которые говорят на всех языках агента. Кнопка ▶ в строке проигрывает образец — короткое приветствие на основном языке агента. Справа — панель выбранного голоса: карточки моделей, «Скорость», «Тонкая настройка» и «Для разработчика». Выбор записывает только кнопка «Использовать этот голос»; выбор другого голоса сбрасывает модель и настройки прежнего. Подробно — Окно выбора голоса. В «Тонкой настройке» параметры задаются полями паспорта голоса: у ElevenLabs — «Стабильность», «Схожесть» и «Стиль» (от 0 до 1) и «Усиление голоса», у голоса cybernet — apply_text_normalization. Значение вне диапазона паспорта кабинет подсвечивает и не сохраняет, а параметр, отвергнутый паспортом, блокирует публикацию. Паспорт голоса cybernet строгий: поля для дополнительных ключей в нём нет, и ключ, которого паспорт не знает, тоже блокирует публикацию — сервис молча принял бы ключ с опечаткой. У голоса cybernet при «Скорости» 0,9 и ниже кабинет предупреждает, что качество голоса падает.
Числа, даты и сокращенияКак голос прочитает «12:30» или «$49.99», решает нормализация текста у провайдера синтеза:
  • cybernet — apply_text_normalization со значениями on и off. Когда у агента задан язык разговора, сервис раскрывает числа, сокращения и латиницу только при on. Если агент называет суммы, даты или время, выберите on; учтите, что on может увеличить время до первого звука.
  • ElevenLabs — тот же apply_text_normalization со значениями auto, on и off; при auto решает вендор.
  • Inworld — text_normalization со значениями ON и OFF.
Совет: в фиксированных фразах надёжнее сразу писать числа словами — «в двенадцать тридцать» или «at twelve thirty». Результат проверяйте тестовым звонком.
Два языка в одном звонкеКлиент может начать на одном языке и перейти на другой: в Казахстане — например, с русского на казахский (ru/kk), в США — с английского на испанский (en/es). Чтобы это работало:
  1. Языки агента — отметьте оба языка в поле «Языки агента» карточки «Агент и промпт». Первый — основной: с него начинается звонок. Оставьте включённым «Автопереход на язык клиента» — агент сам переходит на язык, на котором заговорил клиент, и отвечает на нём; голос, распознавание и встроенные фразы переключаются вместе с ним.
  2. STT — модель, которая распознаёт оба языка. Для kk/ru подходят, например, Soniox Real-time (сама определяет язык и переключается внутри реплики) и модели Cybernet KZ/RU; для en/es — Deepgram Nova-3, Soniox Real-time, AssemblyAI Universal-3.6 Pro (streaming), Gladia Solaria-1 (live) и Azure Speech STT. Окно выбора само оставляет только модели, которые знают оба языка.
  3. TTS — голос, который говорит на обоих языках. Для kk/ru — голоса cybernet и Soniox; для en/es — голоса ElevenLabs, Cartesia, Inworld и Soniox.
  4. Совет: фиксированные фразы пишите на основном языке — с него начинается звонок.
Для пары kk/ru язык клиента определяется по казахским буквам в реплике. Короткая казахская фраза без них, например «саламатсыз ба», оставляет звонок на русском, пока клиент не скажет фразу с казахскими буквами.

VAD и перебивания

В группе «Очерёдность реплик» настраивается, как агент реагирует, когда клиент заговорил поверх него:
  • «Разрешить перебивание» — общий переключатель агента; узел может задать своё значение.
  • «Мин. длительность» и «Мин. слов» — защита от ложных срабатываний: кашель, «ага» и шум в трубке не должны обрывать реплику агента.
Чувствительность детектора речи — в шестерёнке «Параметры очерёдности реплик»: таблица «Настройки VAD во время звонка» с порогами «Вход», «Выход» и «Тишина» отдельно для состояний «Когда агент говорит или думает» и «Остальные состояния», а также задержки конца реплики и «Фильтр по громкости».
Шестерёнка «Параметры очерёдности реплик»: конец реплики, фильтр громкости и правила VAD

Шестерёнка «Параметры очерёдности реплик»: задержки конца реплики, фильтр по громкости и пороги детектора речи по состояниям агента.

Шестерёнка «Параметры очерёдности реплик»: конец реплики, фильтр громкости и правила VAD
Пустое поле — это «авто», и оно считает за васОставьте «Мин. длительность» и «Мин. слов» пустыми — платформа подставит значения под ту модель распознавания, которую вы выбрали в STT. Потоковой модели достанется 0,5 с и минимум слов 2, пакетной — 0,6 с и 0. Разница не косметическая: пакетная модель (например, Cybernet KZ/RU) отдаёт текст целиком, когда клиент договорил, поэтому счёт слов на ней означает «агент замолчит не посреди фразы, а после неё».Минимум слов 2 — осознанный компромисс. Агент не перебивается на одно- и двухсловных репликах: это спасает от кашля и «угу», но той же меркой отмеряются «стоп» и «нет». Они не теряются: короткая реплика сохраняется и склеивается со следующей фразой клиента — агент отреагирует на такт позже, а не посреди фразы.Если сценарий требует обрывать агента одним словом (например, отказ, который нужно поймать немедленно), ставьте 0 — и учитывайте, что тогда его оборвёт и кашель. Введённое число всегда сильнее «авто».
Определение конца реплики («Дополнительно» → «Речь») отвечает за то, как быстро агент решает «клиент договорил». Слишком агрессивно — агент перебивает сам; слишком осторожно — неприятные паузы. Режим зависит от языка агента:
  • kk — «Только VAD»: конец реплики по тишине; кабинет рекомендует его, когда язык вне поддержки детекторов.
  • ru — «Текстовая модель»: единственный режим с поддержкой русского; модель помечена устаревшей.
  • en и es — «Аудио v1-mini»: аудио-модель слушает интонацию, ритм и паузы и знает английский и испанский. Или «STT-провайдер», если модель распознавания — Deepgram, Soniox, Azure или AssemblyAI: конец реплики определяет провайдер.
Фоновый звук. Тихий шум подмешивается в голос агента: в распознавание и в транскрипт он не попадает. Включается в группе «Очерёдность реплик»; в поле «Аудио-ассет» можно взять стандартный фон платформы — «Клавиатура» или «Клавиатура, короткая» — или загрузить свой файл. Даёт ощущение живого звонка, но требует аккуратной громкости. Подробно — Фоновый звук. «Активное слушание» (backchannel) — короткие подтверждения во время длинной речи клиента. Это не реплика диалога: слово идёт отдельным аудиотреком, не попадает в транскрипт и не сбивает определение конца реплики. Если поле «Слова (через запятую)» пустое, слова берутся по текущему языку звонка: для ru — «угу», «ага», «мгм», для kk — «иә», «жарайды», для en — «uh-huh», «mhmm», «okay», для es — «ajá», «mhm», «vale». «Частота срабатывания (0..1)» по умолчанию 0,8. Совет: 0,6 — разумная середина, 1,0 звучит навязчиво. Точнее всего момент для подтверждения выбирается с моделями Deepgram, Soniox и Azure; с остальными, в том числе с пакетными Cybernet, кабинет предупреждает, что слова могут звучать менее естественно. Кэш синтеза отдаёт уже озвученные фразы без повторного синтеза; он включён по умолчанию. У голосов ElevenLabs, Cartesia, Inworld и cybernet фиксированные фразы без переменных озвучиваются заранее, при публикации, поэтому приветствие звучит без задержки синтеза уже в первом звонке; у Soniox и Azure кэш наполняется во время звонков. Совет: «Фраза» вместо «Промпта» в начале разговора — не только про формулировки, но и про скорость.
Пауза в речи — [pause N]Между словами можно поставить [pause 0.5], и агент остановится на полсекунды; допустимы значения от 0,1 до 3,0. Это способ прочитать номер телефона группами, а не одной строкой, и дать абоненту мгновение перед вопросом, требующим решения.Тег понимают и фиксированный текст узла, и генерируемые реплики — модели можно прямо в промпте сказать, когда ставить паузу. В транскрипт, Историю и отчёты тег не попадает: его видит только синтез.Но длина паузы зависит от голоса. ElevenLabs (кроме моделей eleven_v3, eleven_v3_conversational, eleven_v4 и eleven_v4_turbo), Cartesia, Inworld и Azure держат паузу точной длины. Soniox, голоса cybernet и ElevenLabs на этих четырёх моделях так не умеют, и там тег превращается в запятую или многоточие — остановка слышна, но [pause 2] и [pause 0.5] звучат одинаково. У realtime-агента пауз не будет вовсе, валидатор об этом предупредит. Проверяется ушами: сделайте тестовый звонок, транскрипт пауз не покажет. Подробности — в правках фраз и паузах.
Модель распознавания выбирается в окне справочника: поиск, фильтр «Все провайдеры» и бейджи — «Рекомендуемые», задержка, «Без потока». Голос — в окне выбора голоса: вкладки провайдеров, фильтры, блок «Рекомендованы этому агенту» и пометки «Без потока» и «Без word-timing». Оба окна показывают только модели и голоса, которые поддерживают все языки агента; выбранный раньше вариант, который перестал подходить, стоит первым с пометкой «Не поддерживает: …».