Перейти к основному содержанию

Тестирование агента

Кнопка «Тест» в шапке редактора открывает тест-панель. В ней две вкладки:
  • «Голос» / «Чат» — с агентом разговариваете вы сами. Вкладка называется открытым режимом: «Тест» открывает звонок — вкладку «Голос», а в её меню переключается на «Чат» и обратно; см. «Проверка перед запуском».
  • «Сценарии» — с агентом разговаривает платформа по заранее описанным сценариям и говорит, готов ли агент к запуску. Эта страница — про эту вкладку.
Проверка — это пачка тестовых разговоров с агентом. Тестовые абоненты звонят ему по сценариям, после каждого разговора судья решает, сделал ли агент то, что от него ждали, а в конце вы получаете итог: готов агент к запуску или нет, и что улучшить. Настоящих звонков проверка не делает и в «Историю» не пишет — разговоры остаются в результате проверки.

Как это устроено

  1. Сценарии. Вы описываете, кто звонит и чего вы ждёте от агента. Или просите платформу сгенерировать сценарии по настройкам агента.
  2. Проверка. Тестовые абоненты разговаривают с агентом по каждому включённому сценарию, параллельно.
  3. Судья. После каждого разговора модель-судья сверяет его с ожиданием и отмечает реплику, где агент ошибся.
  4. Итог. «Готов к запуску», «Не готов» или «Проверено не всё» — по порогам организации.
  5. Что улучшить. Платформа группирует провалы и предлагает правки агента.
  6. Исправить с Copilot. Copilot предлагает правку, вы её применяете, сценарий перепроверяется.
  7. Публикация. Окно публикации показывает, пройдена ли проверка.

Сценарий

Сценарий — это описание одного разговора. Он хранится у агента и переживает проверки: тот же набор можно гонять после каждой правки. Манеры речи: «Обычный», «Торопится, раздражён», «Грубит, угрожает», «Путается», «Пожилой, переспрашивает», «Отвечает одним словом», «Сленг, опечатки». Метки сценария в списке: «Взлом» — сценарий-атака, «Свой» — добавлен вручную, «Без базы знаний» — снята отметка «С базой знаний агента». Взлом — такой же сценарий, как остальные: его можно включить, выключить, изменить и удалить, своих взломов может быть сколько угодно. Чекбокс включает и выключает сценарий: выключенный остаётся у агента, но в проверку не идёт. Включённые сценарии стоят в списке первыми, выключенные — в конце. Видны первые 10 строк, «Показать ещё (N)» открывает следующие. «Снять выделение» в шапке списка снимает отметки со всех сценариев; когда не отмечен ни один, на её месте «Выделить все».

Откуда берутся сценарии

  • Свой сценарий — кнопка «Добавить свой сценарий».
  • Генерация — «Сгенерировать по настройкам агента». Количество выбирается кнопками «− 8 +», от 3 до 20. С отметкой «с базой знаний» абоненты будут спрашивать о фактах из баз знаний агента. Сценарии появляются в списке по мере готовности; «Отменить» останавливает генерацию, уже созданное остаётся. «Ещё» досоздаёт сценарии, не повторяя имеющиеся, и так же спрашивает количество и базу знаний. Если у агента ещё нет ни одного взлома, один из заказанных сценариев будет взломом: заказали 3 — получите 3, один из них с меткой «Взлом». Сценарии пишутся на языке вашего кабинета, а реплики, которые абонент должен сказать дословно, — на языке агента.
Сценарии на другом языке. Сценарий, написанный в кабинете на другом языке, вы видите в переводе на язык своего кабинета — в списке и в форме. Модель переводит его один раз, перевод хранится для всех с этим языком кабинета; слова в кавычках, имена, числа и переменные не переводятся. Форма помечает такой текст «Автоперевод, оригинал: …», кнопка «Показать оригинал» показывает исходный текст. Проверка и судья всегда работают по оригиналу, поэтому перевод на результат не влияет. Если вы измените текст сценария и сохраните его, ваш вариант станет новым оригиналом, а прежние переводы сбросятся.
  • Copilot — попросите в чате: «добавь сценарий, где абонент…». Copilot сохранит его с теми же полями.
  • Из покрытия — после проверки: «Создать сценарии для этих узлов» (см. ниже).
Если у агента нет ни одного включённого сценария, проверка идёт по пяти базовым абонентам: спокойному, торопливому, растерянному, уходящему от темы и атакующему. Базовые абоненты у агента не сохраняются. Если включённые сценарии есть, в проверку идут ровно они — ничего сверх отмеченного не добавляется. «Удалить все сценарии» в шапке списка удаляет сценарии проверки у агента. Прошлые результаты проверок остаются.

Проверка

Кнопка «Проверить агента» в подвале вкладки показывает, сколько сценариев пойдёт в проверку, — это число отмеченных строк. Когда отмечены все, оно совпадает с числом в заголовке списка.
  • Что проверяется — черновик или опубликованная версия. Выбор тот же, что у чат-теста: «Что тестировать» в настройках теста на вкладке «Чат» (кнопка-сводка, например «Черновик · rigid · заглушки»). Черновик с ошибками схемы проверить нельзя: кнопка неактивна, пока их не исправить.
  • Разговор — до шести реплик, первым говорит агент. Разговоры идут параллельно; ход виден на полосе прогресса: «Разговоры идут · N из M». «Остановить» прерывает проверку: новые разговоры не начинаются, а идущие договаривают текущую реплику — пока это происходит, вкладка пишет «Останавливаем проверку» и сколько разговоров ещё идёт. Не начатые сценарии получают «Не проводился». Готовые разговоры остановленной проверки открываются из её результата, над ним — ссылка «← История» (или «← К сценариям», если прошлых проверок нет).
  • Функции агента отвечают тестовыми заглушками: проверка никуда не ходит. Судья знает об этом и оценивает логику шага, а не конкретные значения. Функции без тестового ответа вкладка перечисляет перед запуском.
  • Модель агента недоступна — проверка не запускается, вкладка так и пишет: «Модель агента недоступна: … Проверьте настройки LLM агента». Если модель отказала посреди проверки, проверка останавливается с той же причиной, а не помечает каждый сценарий отдельно.
  • Одна проверка за раз на агента: пока идёт одна, вторую не запустить.

Как решает судья

Судья читает весь разговор один раз в конце. Ожидание сценария и правила агента для него — критерии; по каждому он решает, выполнен ли он. Сценарий пройден, если не нарушен ни один критерий. В карточке разговора судья объясняет решение на языке кабинета и отмечает реплику, с которой агент ошибся, — «Ошибка здесь». Если судья пропустил какой-то критерий, его переспрашивают один раз. Не оценил и после этого — критерий провалом не считается, а карточка разговора пишет «Судья не оценил: …». Если судья не смог дать ответ или разговор не состоялся, сценарий получает «не удалось провести». Это не ошибка агента: такой сценарий не считается провалом, проверку стоит повторить.

Итог

Строка итога выглядит так: «Не готов · 3 из 5» — не пройдено 3 разговора из 5; при «Готов к запуску» число означает пройденные. Взломы считаются наравне с остальными сценариями. Строку можно раскрыть и увидеть пороги и число взломов. Пороги задаются на организацию: нужно пройти от 95 % сценариев, взломов — 0. Точечная проверка — «Проверить снова» у одного сценария или запуск из Copilot. Она обновляет исход этого сценария, но итога «готов к запуску» не даёт: для него нужна полная проверка. «Результат устарел» — агент изменился после проверки: правился черновик или вышла новая версия. Перед публикацией проверьте снова.

Что ещё показывает результат

  • Вкладки «Сценарии» и «Что улучшить». Сначала идут не прошедшие сценарии, затем не проводившиеся, затем прочие исходы и в конце — пройденные.
  • «База знаний» — метка у сценария, где агент отвечал по базе знаний; в карточке разговора такая реплика подписана «Ответ из базы знаний».
  • Метки сравнения с прошлой полной проверкой: «Сломался» — раньше проходил, теперь нет; «Исправлен» — наоборот; «Новый»; «не проверялся»; «не удалось провести».
  • Покрытие узлов: «Разговоры не дошли до N узлов из M» и первые имена этих узлов. Что агент говорит в непройденных узлах, проверка не знает. «Создать сценарии для этих узлов» досоздаёт сценарии, которые туда поведут.
  • Карточка разговора: весь диалог, вердикт судьи, «Чего ждали от агента», переменные этого разговора, отметка «Ошибка здесь». Узел с ошибкой подсвечивается на холсте.

Что улучшить

После полной проверки с провалами платформа группирует ошибки и для каждой группы пишет: что не так, почему, в каких сценариях, как исправить и где — общий промпт, конкретный узел или настройки. Рекомендации готовятся отдельно от итога: итог виден сразу, рядом — «Готовим рекомендации…». Если они не успели, «Получить рекомендации» запросит их снова.

Исправить с Copilot

«Исправить с Copilot» у провала или у группы рекомендаций открывает Copilot с разговором из проверки во вложении и готовым вопросом. Copilot предлагает правку агента; применяет её человек — кнопкой «Применить». После этого появляется «Изменение применено к черновику» и «Проверить сценарий снова». Карточка разговора после правки показывает «Что изменилось в агенте» и «Было → Стало».

Публикация

Окно публикации показывает две строки:
  • Схема — ошибки схемы блокируют публикацию.
  • Проверка — пройдена; не пройдена (с «Открыть результаты»); не запускалась (с «Проверить агента»); агент изменён после проверки (с «Проверить снова»).
Проверка публикацию не блокирует: если она не пройдена, кнопка становится «Всё равно опубликовать».

История проверок

Если у агента уже были проверки, вкладка открывается на наборе сценариев, а над ним — блок «Прошлые проверки»: дата, версия, итог и число сценариев. Видны три последние, остальные — по «Показать все (N)». Строка открывает её результат, «← История» возвращает к списку.

Кто может проверять

Раздел «Агенты и редактор» открыт администратору и разработчику, поэтому и проверка — только у них (см. «Роли»).

Что важно знать

  • Разговоры проверки — тестовые: в «Историю» и аналитику звонков они не попадают.
  • Проверка идёт с тестовыми ответами функций: реальные интеграции агента не вызываются.