Тестирование агента
Кнопка «Тест» в шапке редактора открывает тест-панель. В ней две вкладки:- «Голос» / «Чат» — с агентом разговариваете вы сами. Вкладка называется открытым режимом: «Тест» открывает звонок — вкладку «Голос», а в её меню переключается на «Чат» и обратно; см. «Проверка перед запуском».
- «Сценарии» — с агентом разговаривает платформа по заранее описанным сценариям и говорит, готов ли агент к запуску. Эта страница — про эту вкладку.
Как это устроено
- Сценарии. Вы описываете, кто звонит и чего вы ждёте от агента. Или просите платформу сгенерировать сценарии по настройкам агента.
- Проверка. Тестовые абоненты разговаривают с агентом по каждому включённому сценарию, параллельно.
- Судья. После каждого разговора модель-судья сверяет его с ожиданием и отмечает реплику, где агент ошибся.
- Итог. «Готов к запуску», «Не готов» или «Проверено не всё» — по порогам организации.
- Что улучшить. Платформа группирует провалы и предлагает правки агента.
- Исправить с Copilot. Copilot предлагает правку, вы её применяете, сценарий перепроверяется.
- Публикация. Окно публикации показывает, пройдена ли проверка.
Сценарий
Сценарий — это описание одного разговора. Он хранится у агента и переживает проверки: тот же набор можно гонять после каждой правки.
Манеры речи: «Обычный», «Торопится, раздражён», «Грубит, угрожает», «Путается», «Пожилой, переспрашивает», «Отвечает одним словом», «Сленг, опечатки».
Метки сценария в списке: «Взлом» — сценарий-атака, «Свой» — добавлен вручную, «Без базы знаний» — снята отметка «С базой знаний агента». Взлом — такой же сценарий, как остальные: его можно включить, выключить, изменить и удалить, своих взломов может быть сколько угодно. Чекбокс включает и выключает сценарий: выключенный остаётся у агента, но в проверку не идёт.
Включённые сценарии стоят в списке первыми, выключенные — в конце. Видны первые 10 строк, «Показать ещё (N)» открывает следующие. «Снять выделение» в шапке списка снимает отметки со всех сценариев; когда не отмечен ни один, на её месте «Выделить все».
Откуда берутся сценарии
- Свой сценарий — кнопка «Добавить свой сценарий».
- Генерация — «Сгенерировать по настройкам агента». Количество выбирается кнопками «− 8 +», от 3 до 20. С отметкой «с базой знаний» абоненты будут спрашивать о фактах из баз знаний агента. Сценарии появляются в списке по мере готовности; «Отменить» останавливает генерацию, уже созданное остаётся. «Ещё» досоздаёт сценарии, не повторяя имеющиеся, и так же спрашивает количество и базу знаний. Если у агента ещё нет ни одного взлома, один из заказанных сценариев будет взломом: заказали 3 — получите 3, один из них с меткой «Взлом». Сценарии пишутся на языке вашего кабинета, а реплики, которые абонент должен сказать дословно, — на языке агента.
- Copilot — попросите в чате: «добавь сценарий, где абонент…». Copilot сохранит его с теми же полями.
- Из покрытия — после проверки: «Создать сценарии для этих узлов» (см. ниже).
Проверка
Кнопка «Проверить агента» в подвале вкладки показывает, сколько сценариев пойдёт в проверку, — это число отмеченных строк. Когда отмечены все, оно совпадает с числом в заголовке списка.- Что проверяется — черновик или опубликованная версия. Выбор тот же, что у чат-теста: «Что тестировать» в настройках теста на вкладке «Чат» (кнопка-сводка, например «Черновик · rigid · заглушки»). Черновик с ошибками схемы проверить нельзя: кнопка неактивна, пока их не исправить.
- Разговор — до шести реплик, первым говорит агент. Разговоры идут параллельно; ход виден на полосе прогресса: «Разговоры идут · N из M». «Остановить» прерывает проверку: новые разговоры не начинаются, а идущие договаривают текущую реплику — пока это происходит, вкладка пишет «Останавливаем проверку» и сколько разговоров ещё идёт. Не начатые сценарии получают «Не проводился». Готовые разговоры остановленной проверки открываются из её результата, над ним — ссылка «← История» (или «← К сценариям», если прошлых проверок нет).
- Функции агента отвечают тестовыми заглушками: проверка никуда не ходит. Судья знает об этом и оценивает логику шага, а не конкретные значения. Функции без тестового ответа вкладка перечисляет перед запуском.
- Модель агента недоступна — проверка не запускается, вкладка так и пишет: «Модель агента недоступна: … Проверьте настройки LLM агента». Если модель отказала посреди проверки, проверка останавливается с той же причиной, а не помечает каждый сценарий отдельно.
- Одна проверка за раз на агента: пока идёт одна, вторую не запустить.
Как решает судья
Судья читает весь разговор один раз в конце. Ожидание сценария и правила агента для него — критерии; по каждому он решает, выполнен ли он. Сценарий пройден, если не нарушен ни один критерий. В карточке разговора судья объясняет решение на языке кабинета и отмечает реплику, с которой агент ошибся, — «Ошибка здесь». Если судья пропустил какой-то критерий, его переспрашивают один раз. Не оценил и после этого — критерий провалом не считается, а карточка разговора пишет «Судья не оценил: …». Если судья не смог дать ответ или разговор не состоялся, сценарий получает «не удалось провести». Это не ошибка агента: такой сценарий не считается провалом, проверку стоит повторить.Итог
Строка итога выглядит так: «Не готов · 3 из 5» — не пройдено 3 разговора из 5; при «Готов к запуску» число означает пройденные. Взломы считаются наравне с остальными сценариями. Строку можно раскрыть и увидеть пороги и число взломов.
Пороги задаются на организацию: нужно пройти от 95 % сценариев, взломов — 0.
Точечная проверка — «Проверить снова» у одного сценария или запуск из Copilot. Она обновляет исход этого сценария, но итога «готов к запуску» не даёт: для него нужна полная проверка.
«Результат устарел» — агент изменился после проверки: правился черновик или вышла новая версия. Перед публикацией проверьте снова.
Что ещё показывает результат
- Вкладки «Сценарии» и «Что улучшить». Сначала идут не прошедшие сценарии, затем не проводившиеся, затем прочие исходы и в конце — пройденные.
- «База знаний» — метка у сценария, где агент отвечал по базе знаний; в карточке разговора такая реплика подписана «Ответ из базы знаний».
- Метки сравнения с прошлой полной проверкой: «Сломался» — раньше проходил, теперь нет; «Исправлен» — наоборот; «Новый»; «не проверялся»; «не удалось провести».
- Покрытие узлов: «Разговоры не дошли до N узлов из M» и первые имена этих узлов. Что агент говорит в непройденных узлах, проверка не знает. «Создать сценарии для этих узлов» досоздаёт сценарии, которые туда поведут.
- Карточка разговора: весь диалог, вердикт судьи, «Чего ждали от агента», переменные этого разговора, отметка «Ошибка здесь». Узел с ошибкой подсвечивается на холсте.
Что улучшить
После полной проверки с провалами платформа группирует ошибки и для каждой группы пишет: что не так, почему, в каких сценариях, как исправить и где — общий промпт, конкретный узел или настройки. Рекомендации готовятся отдельно от итога: итог виден сразу, рядом — «Готовим рекомендации…». Если они не успели, «Получить рекомендации» запросит их снова.Исправить с Copilot
«Исправить с Copilot» у провала или у группы рекомендаций открывает Copilot с разговором из проверки во вложении и готовым вопросом. Copilot предлагает правку агента; применяет её человек — кнопкой «Применить». После этого появляется «Изменение применено к черновику» и «Проверить сценарий снова». Карточка разговора после правки показывает «Что изменилось в агенте» и «Было → Стало».Публикация
Окно публикации показывает две строки:- Схема — ошибки схемы блокируют публикацию.
- Проверка — пройдена; не пройдена (с «Открыть результаты»); не запускалась (с «Проверить агента»); агент изменён после проверки (с «Проверить снова»).
История проверок
Если у агента уже были проверки, вкладка открывается на наборе сценариев, а над ним — блок «Прошлые проверки»: дата, версия, итог и число сценариев. Видны три последние, остальные — по «Показать все (N)». Строка открывает её результат, «← История» возвращает к списку.Кто может проверять
Раздел «Агенты и редактор» открыт администратору и разработчику, поэтому и проверка — только у них (см. «Роли»).Что важно знать
- Разговоры проверки — тестовые: в «Историю» и аналитику звонков они не попадают.
- Проверка идёт с тестовыми ответами функций: реальные интеграции агента не вызываются.