> ## Documentation Index
> Fetch the complete documentation index at: https://docs.hubtalk.ai/llms.txt
> Use this file to discover all available pages before exploring further.

# Тестирование агента

> Проверка агента сценариями: тестовые разговоры до публикации, судья, итог «готов к запуску» и что исправить.

# Тестирование агента

Кнопка **«Тест»** в шапке редактора открывает тест-панель. В ней две вкладки:

* **«Голос»** / **«Чат»** — с агентом разговариваете вы сами. Вкладка называется открытым режимом: «Тест» открывает звонок — вкладку **«Голос»**, а в её меню переключается на **«Чат»** и обратно; см. [«Проверка перед запуском»](https://docs.hubtalk.ai/ru/v4/platform/agents/building.md#проверка-перед-запуском).
* **«Сценарии»** — с агентом разговаривает платформа по заранее описанным сценариям и говорит, готов ли агент к запуску. Эта страница — про эту вкладку.

Проверка — это пачка тестовых разговоров с агентом. Тестовые абоненты звонят ему по сценариям, после каждого разговора судья решает, сделал ли агент то, что от него ждали, а в конце вы получаете итог: готов агент к запуску или нет, и что улучшить.

Настоящих звонков проверка не делает и в «Историю» не пишет — разговоры остаются в результате проверки.

## Как это устроено

1. **Сценарии.** Вы описываете, кто звонит и чего вы ждёте от агента. Или просите платформу сгенерировать сценарии по настройкам агента.
2. **Проверка.** Тестовые абоненты разговаривают с агентом по каждому включённому сценарию, параллельно.
3. **Судья.** После каждого разговора модель-судья сверяет его с ожиданием и отмечает реплику, где агент ошибся.
4. **Итог.** «Готов к запуску», «Не готов» или «Проверено не всё» — по порогам организации.
5. **Что улучшить.** Платформа группирует провалы и предлагает правки агента.
6. **Исправить с Copilot.** Copilot предлагает правку, вы её применяете, сценарий перепроверяется.
7. **Публикация.** Окно публикации показывает, пройдена ли проверка.

## Сценарий

Сценарий — это описание одного разговора. Он хранится у агента и переживает проверки: тот же набор можно гонять после каждой правки.

| Поле | Что это |
| - | - |
| **Название** | Короткое имя ситуации: «Звонит не владелец договора» |
| **Абонент** | Кто звонит и как себя ведёт — 2–3 предложения |
| **Знает о себе** | Что абонент может о себе сообщить: имя, номер договора, город |
| **Переменные агента** | Значения переменных агента в этом разговоре. Блок свёрнут, в нём — переменные агента и свои строки «имя + значение» |
| **Манера речи** | Одна из семи — ниже |
| **Ждём от агента** | Что агент должен сделать. По этому полю судит судья |
| **Попытка взлома** | Сценарий-атака: абонент пытается заставить агента нарушить правила |
| **С базой знаний агента** | Отметка включена по умолчанию. Снимите её, чтобы проверить, как агент отвечает в этом сценарии без своих баз знаний. У агента без баз знаний отметка неактивна |

**Манеры речи:** «Обычный», «Торопится, раздражён», «Грубит, угрожает», «Путается», «Пожилой, переспрашивает», «Отвечает одним словом», «Сленг, опечатки».

Метки сценария в списке: **«Взлом»** — сценарий-атака, **«Свой»** — добавлен вручную, **«Без базы знаний»** — снята отметка «С базой знаний агента». Взлом — такой же сценарий, как остальные: его можно включить, выключить, изменить и удалить, своих взломов может быть сколько угодно. Чекбокс включает и выключает сценарий: выключенный остаётся у агента, но в проверку не идёт.

Включённые сценарии стоят в списке первыми, выключенные — в конце. Видны первые 10 строк, **«Показать ещё (N)»** открывает следующие. **«Снять выделение»** в шапке списка снимает отметки со всех сценариев; когда не отмечен ни один, на её месте **«Выделить все»**.

## Откуда берутся сценарии

* **Свой сценарий** — кнопка **«Добавить свой сценарий»**.
* **Генерация** — **«Сгенерировать по настройкам агента»**. Количество выбирается кнопками **«− 8 +»**, от 3 до 20. С отметкой **«с базой знаний»** абоненты будут спрашивать о фактах из баз знаний агента. Сценарии появляются в списке по мере готовности; **«Отменить»** останавливает генерацию, уже созданное остаётся. **«Ещё»** досоздаёт сценарии, не повторяя имеющиеся, и так же спрашивает количество и базу знаний. Если у агента ещё нет ни одного взлома, один из заказанных сценариев будет взломом: заказали 3 — получите 3, один из них с меткой «Взлом». Сценарии пишутся на языке вашего кабинета, а реплики, которые абонент должен сказать дословно, — на языке агента.

**Сценарии на другом языке.** Сценарий, написанный в кабинете на другом языке, вы видите в переводе на язык своего кабинета — в списке и в форме. Модель переводит его один раз, перевод хранится для всех с этим языком кабинета; слова в кавычках, имена, числа и переменные не переводятся. Форма помечает такой текст **«Автоперевод, оригинал: …»**, кнопка **«Показать оригинал»** показывает исходный текст. Проверка и судья всегда работают по оригиналу, поэтому перевод на результат не влияет. Если вы измените текст сценария и сохраните его, ваш вариант станет новым оригиналом, а прежние переводы сбросятся.

* **Copilot** — попросите в чате: «добавь сценарий, где абонент…». Copilot сохранит его с теми же полями.
* **Из покрытия** — после проверки: **«Создать сценарии для этих узлов»** (см. [ниже](#что-ещё-показывает-результат)).

Если у агента нет ни одного включённого сценария, проверка идёт по пяти базовым абонентам: спокойному, торопливому, растерянному, уходящему от темы и атакующему. Базовые абоненты у агента не сохраняются. Если включённые сценарии есть, в проверку идут ровно они — ничего сверх отмеченного не добавляется.

**«Удалить все сценарии»** в шапке списка удаляет сценарии проверки у агента. Прошлые результаты проверок остаются.

## Проверка

Кнопка **«Проверить агента»** в подвале вкладки показывает, сколько сценариев пойдёт в проверку, — это число отмеченных строк. Когда отмечены все, оно совпадает с числом в заголовке списка.

* **Что проверяется** — черновик или опубликованная версия. Выбор тот же, что у чат-теста: **«Что тестировать»** в настройках теста на вкладке **«Чат»** (кнопка-сводка, например **«Черновик · rigid · заглушки»**). Черновик с ошибками схемы проверить нельзя: кнопка неактивна, пока их не исправить.
* **Разговор** — до шести реплик, первым говорит агент. Разговоры идут параллельно; ход виден на полосе прогресса: «Разговоры идут · N из M». **«Остановить»** прерывает проверку: новые разговоры не начинаются, а идущие договаривают текущую реплику — пока это происходит, вкладка пишет **«Останавливаем проверку»** и сколько разговоров ещё идёт. Не начатые сценарии получают **«Не проводился»**. Готовые разговоры остановленной проверки открываются из её результата, над ним — ссылка **«← История»** (или **«← К сценариям»**, если прошлых проверок нет).
* **Функции агента** отвечают тестовыми заглушками: проверка никуда не ходит. Судья знает об этом и оценивает логику шага, а не конкретные значения. Функции без тестового ответа вкладка перечисляет перед запуском.
* **Модель агента недоступна** — проверка не запускается, вкладка так и пишет: «Модель агента недоступна: … Проверьте настройки LLM агента». Если модель отказала посреди проверки, проверка останавливается с той же причиной, а не помечает каждый сценарий отдельно.
* **Одна проверка за раз** на агента: пока идёт одна, вторую не запустить.

### Как решает судья

Судья читает весь разговор один раз в конце. Ожидание сценария и правила агента для него — критерии; по каждому он решает, выполнен ли он. Сценарий пройден, если не нарушен ни один критерий. В карточке разговора судья объясняет решение на языке кабинета и отмечает реплику, с которой агент ошибся, — **«Ошибка здесь»**.

Если судья пропустил какой-то критерий, его переспрашивают один раз. Не оценил и после этого — критерий провалом не считается, а карточка разговора пишет **«Судья не оценил: …»**.

Если судья не смог дать ответ или разговор не состоялся, сценарий получает **«не удалось провести»**. Это не ошибка агента: такой сценарий не считается провалом, проверку стоит повторить.

## Итог

| Итог | Когда |
| - | - |
| **Готов к запуску** | Пройдено не меньше порога обычных сценариев, и взломов не больше разрешённого |
| **Не готов** | Порог не набран или агента взломали |
| **Проверено не всё** | Часть сценариев не удалось провести, или не было ни одного оценённого сценария какого-то вида |

Строка итога выглядит так: «Не готов · 3 из 5» — не пройдено 3 разговора из 5; при «Готов к запуску» число означает пройденные. Взломы считаются наравне с остальными сценариями. Строку можно раскрыть и увидеть пороги и число взломов.

**Пороги** задаются на организацию: нужно пройти от 95 % сценариев, взломов — 0.

**Точечная проверка** — **«Проверить снова»** у одного сценария или запуск из Copilot. Она обновляет исход этого сценария, но итога «готов к запуску» не даёт: для него нужна полная проверка.

**«Результат устарел»** — агент изменился после проверки: правился черновик или вышла новая версия. Перед публикацией проверьте снова.

### Что ещё показывает результат

* **Вкладки «Сценарии» и «Что улучшить».** Сначала идут не прошедшие сценарии, затем не проводившиеся, затем прочие исходы и в конце — пройденные.
* **«База знаний»** — метка у сценария, где агент отвечал по базе знаний; в карточке разговора такая реплика подписана **«Ответ из базы знаний»**.
* **Метки сравнения** с прошлой полной проверкой: «Сломался» — раньше проходил, теперь нет; «Исправлен» — наоборот; «Новый»; «не проверялся»; «не удалось провести».
* **Покрытие узлов:** «Разговоры не дошли до N узлов из M» и первые имена этих узлов. Что агент говорит в непройденных узлах, проверка не знает. **«Создать сценарии для этих узлов»** досоздаёт сценарии, которые туда поведут.
* **Карточка разговора:** весь диалог, вердикт судьи, «Чего ждали от агента», переменные этого разговора, отметка «Ошибка здесь». Узел с ошибкой подсвечивается на холсте.

## Что улучшить

После полной проверки с провалами платформа группирует ошибки и для каждой группы пишет: что не так, почему, в каких сценариях, как исправить и где — общий промпт, конкретный узел или настройки. Рекомендации готовятся отдельно от итога: итог виден сразу, рядом — «Готовим рекомендации…». Если они не успели, **«Получить рекомендации»** запросит их снова.

## Исправить с Copilot

**«Исправить с Copilot»** у провала или у группы рекомендаций открывает [Copilot](https://docs.hubtalk.ai/ru/v4/platform/copilot.md) с разговором из проверки во вложении и готовым вопросом. Copilot предлагает правку агента; применяет её человек — кнопкой **«Применить»**. После этого появляется «Изменение применено к черновику» и **«Проверить сценарий снова»**. Карточка разговора после правки показывает «Что изменилось в агенте» и «Было → Стало».

## Публикация

Окно публикации показывает две строки:

* **Схема** — ошибки схемы блокируют публикацию.
* **Проверка** — пройдена; не пройдена (с «Открыть результаты»); не запускалась (с «Проверить агента»); агент изменён после проверки (с «Проверить снова»).

Проверка публикацию не блокирует: если она не пройдена, кнопка становится **«Всё равно опубликовать»**.

## История проверок

Если у агента уже были проверки, вкладка открывается на наборе сценариев, а над ним — блок **«Прошлые проверки»**: дата, версия, итог и число сценариев. Видны три последние, остальные — по **«Показать все (N)»**. Строка открывает её результат, **«← История»** возвращает к списку.

## Кто может проверять

Раздел «Агенты и редактор» открыт администратору и разработчику, поэтому и проверка — только у них (см. [«Роли»](https://docs.hubtalk.ai/ru/v4/platform/roles.md)).

| Действие | Администратор | Разработчик | Менеджер | Участник |
| - | - | - | - | - |
| Видеть вкладку «Сценарии» и результаты | ● | ● | — | — |
| Добавлять, генерировать, удалять сценарии | ● | ● | — | — |
| Запускать и останавливать проверку | ● | ● | — | — |
| Применять правки Copilot | ● | ● | — | — |

## Что важно знать

* Разговоры проверки — тестовые: в «Историю» и аналитику звонков они не попадают.
* Проверка идёт с тестовыми ответами функций: реальные интеграции агента не вызываются.


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.