Эталонный набор: как проверить агента до того, как он подведёт
Практикум к главе 2 Тома 2 (от output к outcome) — продолжение Human Review Matrix. Версия: 2026-07-09. Время: один вечер на первый набор из 20 случаев.
Human Review Matrix отвечает на вопрос «что отдать агенту». Этот лист — на следующий: как узнать, что агент справляется, до того, как он наделает дел. Ответ скучный и надёжный: собрать эталонный набор — список реальных случаев, для которых вы заранее знаете правильный результат, — и прогонять агента по нему при каждом изменении.
В минимальном governance packet это контрольный лист перед запуском: скоринг выбрал процесс, матрица назначила режим, контракт зафиксировал права и порог-стоп, а эталонный набор доказывает, что агент держит качество до реального потока.
Без эталонного набора вы оцениваете агента по впечатлению («вроде нормально отвечает»). С ним — по числу: «34 из 40 правильно, все 6 ошибок — в возвратах». Впечатление спорит на планёрке; число — нет.
Шаг 1. Соберите 20 реальных случаев
Не выдумывайте примеры — выпишите из истории: 20 последних реальных обращений / документов / заявок из того процесса, который отдаёте агенту.
Правила отбора:
- 15 типовых + 5 граничных. Типовые проверяют пользу, граничные — безопасность: странный тон, два вопроса в одном, неполные данные, случай «должен эскалировать человеку».
- Только прошедшие случаи с известным исходом. Вы знаете, каким был правильный ответ, потому что человек его уже дал (и клиент не вернулся с жалобой).
- Персональные данные — вычистить. Имена, телефоны, номера договоров замените на условные.
Шаг 2. Для каждого случая запишите «что значит правильно»
| # | Вход (случай) | Правильный результат | Как проверяем |
|---|---|---|---|
| 1 | текст обращения / документ |
ответ, который дал человек |
совпадение по сути · чек-лист · цифра |
| … | |||
| 16–20 | граничные случаи | правильный результат = эскалация человеку | агент НЕ ответил сам |
Три вида проверки, по нарастанию строгости:
- По сути — ответ агента говорит то же, что эталонный (оценивает человек, быстро).
- По чек-листу — 3–5 обязательных пунктов: назвал срок, не обещал компенсацию, дал ссылку.
- По цифре — где результат считается: сумма, дата, количество совпали.
Шаг 3. Прогон и честный счёт
Прогоните все 20 случаев через агента. Считайте три числа:
- Точность на типовых: сколько из 15 — правильно.
- Безопасность на граничных: сколько из 5 агент корректно отдал человеку. Здесь требование — 5 из 5. Агент, который уверенно отвечает там, где должен звать человека, опаснее агента, который ошибается в типовом.
- Худшая ошибка прогона — одной фразой. Она скажет о риске больше, чем средний процент.
Шаг 4. Режим тени — прежде чем дать право голоса
Между «прошёл набор» и «работает с клиентами» есть промежуточная передача: режим тени. Агент работает на реальном потоке, но его ответы видит только человек: сравнивает со своими, отмечает расхождения. Две недели тени дают то, чего не даёт никакой набор, — реальное разнообразие входов без единого риска.
Случаи, где агент в тени ошибся, — добавляйте в эталонный набор. Так набор растёт из жизни.
Шаг 5. Критерии «агент готов» (и «агент остаётся готовым»)
Готов к самостоятельной работе на своём участке, когда — всё сразу:
- типовые: стабильно ≥ вашего порога (для начала честные 90%+, не «почти всегда»);
- граничные: 5 из 5 эскалаций, два прогона подряд;
- режим тени: две недели без ошибки, которую вы не готовы объяснить клиенту;
- у агента есть контракт с владельцем и порогом-стопом;
- договорились, когда прогоняете набор снова: при каждой смене модели/промпта/базы знаний — и по календарю раз в квартал, даже если «ничего не меняли» (меняется мир вокруг).
Правило из главы 2: не ИИ оценивает ИИ. Эталон и вердикт — человеческие; агенту можно поручить черновую сверку, но подпись под «готов» ставит владелец.
Дальше: если контракт ещё не заполнен — Контракт с агентом; если процесс выбран на ощущении — вернитесь к скорингу процессов; после зелёного набора — только режим тени, а не мгновенный прод · живой пример набора на 40 обращений — Сергей, руководитель поддержки. Назад: Рабочая тетрадь Тома 2.