Четыре группы тестов
- Факты: услуги, цена, сроки, география и ограничения.
- Диалог: неполный вопрос, смена темы, повторное уточнение, раздражение.
- Передача: просьба позвать человека, жалоба, нестандартная скидка.
- Данные: неверный телефон, дубль, отказ от передачи данных.
По пять сценариев в группе дадут стартовый набор из 20 тестов. Их текст должен отражать именно ваш продукт.
Оценивайте риск ошибки
Запишите входное сообщение, ожидаемое действие, фактический ответ, оценку «верно / частично / неверно» и исправление. Отдельно измеряйте выдуманные факты, ошибочные передачи, контакты с согласием и случаи, где клиент повторял информацию. Неверная цена и неудачное приветствие имеют разный риск — не объединяйте их в один процент.
Проверьте критический сценарий
Клиент: «На сайте было $500, менеджер сказал $650. Что верно?» Ожидаемое поведение: агент не выбирает произвольное число, признаёт необходимость проверки и передаёт диалог ответственному вместе с контекстом.
Запускайте пилот с возможностью остановки
Подключите небольшой поток обращений, проверяйте диалоги каждый день и назначьте владельца базы знаний. После изменения цен или интеграции повторите соответствующие тесты. Если нет механизма экстренного отключения и передачи человеку, запускать агента на весь поток рано.
Проверить сценарии
Составим тестовый набор под ваш продукт и подключим передачу менеджеру.
Обсудить AI-агента ↗