Перейти к основному содержанию

Разбор проблем звонка

Сюда смотрят, когда звонок прошёл не так, как ожидалось: отказал провайдер речи или модели, агент не ответил на слова абонента, реплика выглядит склеенной, ответ шёл долго или фраза звучит не так. Всё это видно в карточке звонка в полном виде — с включённой галочкой «Отображать системные события», которая есть у администратора и разработчика.

Сбои провайдеров речи и модели

Если во время звонка отказал синтез речи, распознавание или языковая модель, в карточке появляется событие «Ошибка синтеза», «Ошибка распознавания» или «Ошибка LLM» с краткой строкой: провайдер · модель · код · итог · текст ошибки. Итог говорит, чем закончился сбой:
  • «восстановлено повтором» — повторный запрос прошёл;
  • «озвучено резервным голосом» — реплику произнёс резервный голос вместо основного;
  • «восстановлено резервным распознаванием» — у ошибки распознавания: звонок продолжило резервное распознавание;
  • «не восстановлено» — сбой окончательный.
Переход звонка на резерв — отдельное событие: «Резервная модель», «Резервное распознавание» или «Резервный голос». Его строка называет, что на что заменено и почему, например «Резервный голос · переход на резерв · Dasha → Alena · отказала фраза основного голоса» или «основной провайдер синтеза недоступен» у звонка, который начался сразу на резерве. Голоса подписаны именами из справочника. Раскрытое событие сбоя или перехода показывает поля списком, исходные данные — под свёрнутым «JSON события». Без галочки «Отображать системные события» администратор и разработчик видят только сбои «не восстановлено». Всё, что обслужил резерв, — сбои с итогом через резерв, события перехода и пометки резерва у реплик — и сбои, восстановленные повтором, видны в полном виде. Участник и менеджер таких событий не видят; о том, что резерв сработал, им и всем остальным говорит пометка «Использованы резервные сервисы» в шапке. Если реплику не удалось произнести ни одним голосом, звонок завершается со статусом «Сбой платформы»: иначе абонент слышал бы тишину.

Абонент говорил, когда перебивать было нельзя

Если на узле выключено перебивание, а абонент всё равно заговорил поверх реплики агента, его слова сохраняются отдельной записью. Разговор при этом идёт своим чередом: хода по такой реплике не было, и агент на неё не отвечал — узел не разрешал себя перебить. Запись видна везде, где виден разговор:
  • в карточке звонка — в обоих видах, обычным пузырём абонента; пометка «сказано во время реплики агента» стоит только в полном виде;
  • в стенограмме для пост-колл аналитики — строкой Client [during agent's reply]: …;
  • в транскрипте вебхуков — у такой строки стоит out_of_turn: true;
  • в выгрузках отчёта — как обычная реплика абонента.
В метриках ходов (GET /v1/calls/{call_id}/turns) такой записи нет: хода не было, мерить нечего. По той же причине она не увеличивает счётчик ходов в Истории.
Это ровно те слова, которые важнее всего не потерять. Поверх дисклеймера абонент чаще всего говорит «не звоните мне больше» или «вы ошиблись номером». Если вы строите на транскрипте автоматику — отказы, реестр «не звонить», разбор жалоб, — читайте и записи с этой пометкой, а не только реплики внутри ходов.
Непрозвучавшая реплика не считается сказанной — и это меняет ход разговораРеплика с пометкой «не прозвучало» не попадает ни в подсказку языковой модели на следующем ходу, ни в расшифровку для пост-колл аналитики, ни в разбор отсылок вроде «да, это он». Чего абонент не слышал, того для модели не было.Наружу такая реплика тоже не уходит: её нет ни в транскрипте вебхуков, ни в объекте звонка в Web API, ни в колонках с транскриптом в выгрузках отчёта. Увидеть её можно только здесь, в полном виде, с пометкой «не прозвучало». Реплика, которую абонент перебил на середине, — другой случай: она остаётся везде, с пометкой о прерывании.Но потерянная реплика остаётся потерянной: агент её не переигрывает. Если вступление перебили до первого звука, абонент его так и не услышит — а разговор пойдёт дальше так, будто вступления не было.

Реплика, склеенная из обрывков

Абонент, сделавший паузу внутри фразы — «Да… нет, не хочу», — для распознавания звучит как две реплики. Если агент к этому моменту ещё не издал звука, платформа откатывает непроизнесённый переход и склеивает обрывки в одну реплику. История такого звонка читается не так, как звучит запись, поэтому стоит узнавать три вещи:
  • Одна реплика абонента там, где в записи их две. На записи стоит merged_from: N — сколько обрывков склеено, — и список fragments с текстом, временем и фазами распознавания каждого. Время самой реплики и её фазы ASR и VAD — у первого обрывка: абонент начал говорить тогда. Языковая модель агента раскола не видит, ей достаётся одна обычная реплика.
  • Агент как будто повторяется. Если продолжением оказался шум, а не речь, переход остаётся, а реплика узла просто произносится заново — под новым номером тёрна и без реплики абонента между ними. Событие turn_rollback рядом имеет статус redo и причину noise. Частые перебивания шумом — повод посмотреть настройки перебивания у агента, а не Историю.
  • Переход в узел, который ничего не сказал. В деталях события отката есть discarded_path — узлы, куда диалог унесло по обрывку до того, как переход отменили. Это и есть объяснение перехода в транскрипте, под которым нет реплики.
Если откат не состоялся, то же событие со статусом committed называет причину: агент успел заговорить (agent_spoke), в отменённой попытке уже был вызов в ваши системы (external_side_effect), абонент услышал реплику (audio_started), сработал лимит в четыре обрывка (limit), канал не передал признак звука (no_signal) или сам откат завершился ошибкой (rollback_error) — ход тогда продолжается как есть. Ни одна из них не влияет на технический вердикт звонка.

Задержки хода диалога

В полном виде под репликой агента стоит пилюля «ход N мс». По клику она раскрывается в карточку «Задержка хода» — такую же, как в тест-панели. Под репликой клиента строки задержек нет: его фазы входят в карточку хода агента. Все длительности — в целых миллисекундах. В карточке — полоса хода из сегментов с легендой. У голосового звонка:
  • ASR — от конца речи абонента до финального транскрипта.
  • ожидание — от финального транскрипта до фиксации конца реплики (у потокового распознавания это остаток окна endpointing, у пакетного — около нуля).
  • старт — от фиксации конца реплики до запуска ответа агента.
  • удержание handoff — ход ждал агента-продолжения при передаче разговора.
  • проверка «подождите» — модель решала, просит ли абонент подождать.
  • Jev — ожидание решения о переходе от Jev, при любом исходе.
  • классификатор — LLM-классификатор переходов.
  • переформулировка и поиск — подготовка запроса и поиск по базам знаний.
  • LLM — только модель ответа: от запроса до передачи первой фразы в синтез.
  • синтез — от передачи первой фразы в синтез до первого фрагмента звука.
  • воспроизведение — от отправки первого фрагмента до начала воспроизведения, если платформа его измерила.
  • прочее — время хода, не покрытое измеренными фазами.
На полосе только те сегменты, которые были в этом ходе. Сегменты складываются в число в шапке карточки — ход целиком, от конца речи абонента до первого звука агента. Если измеренные фазы оказались больше хода (рассинхрон таймингов провайдера), рядом с итогом стоит «⚠». У текстового звонка сегменты другие: Jev, классификатор, переформулировка, поиск и LLM, а итог — их сумма. «Все фазы» раскрывает дерево хода, одна подпись — одна величина:
  • VAD — от конца речи до решения, что реплика закончена; внутри — ASR и ожидание. Если пауза расколола фразу абонента, там же стоит выброшенный прогон: время отменённого ответа, в сумму хода оно не входит.
  • старт.
  • в TTS — от фиксации конца реплики до передачи первой фразы в синтез; внутри — удержания, Jev со строкой «кто решил» (Jev, LLM-классификатор или оба), классификатор, переформулировка, поиск и LLM.
  • синтез, воспроизведение, прочее и ход целиком.
  • Группа SDK — сырые тайминги голосового движка: LLM TTFT и TTS TTFB.
  • Режим — как текст уходит в синтез: целой фразой или потоком с первого токена.
Подсказка у каждой строки объясняет фазу. Если в ходе был поиск по базам знаний, под карточкой стоит строка RAG: число результатов, лучшая релевантность и время. Значения со знаком ~ — оценка платформы: провайдер или голосовой движок не отдали точное время этого хода.

Аудио реплики и кэш синтеза

Рядом с кнопкой ▶ в шапке реплики агента стоит значок кэша синтеза: фраза в кэше, не в кэше или в списке запретов; подсказка значка называет статус, у реплики из нескольких фраз — «В кэше N из M фраз». Меню «⋯» рядом — «Действия с кэшем»: «Синтезировать заново», «Удалить из кэша» и «В список запретов». Последнее спрашивает подтверждение: запись удаляется из кэша, и фраза синтезируется живьём, пока пометка не снята. У реплики из нескольких фраз меню — список фраз, у каждой те же действия и «Прослушать фразу».