Skip to content
PПромтбук
RUEN
03Отладка агентов

Постмортем агентского сбоя

Разобрать почему агент справился плохо, и сформировать конкретные правки в промт.

Разбери почему агент справился плохо.

Контекст

{{agent_run}}

Алгоритм

1. Что произошло (факты, не мнения)

  • Какая задача была поставлена?
  • Что агент сделал?
  • Какой ожидался результат?
  • Где разошлось?

2. Категория ошибки

Определи к какому типу относится сбой:

  • Misunderstanding — агент неправильно интерпретировал задачу
  • Missing context — у агента не было информации которая нужна
  • Wrong tool — выбрал не тот инструмент
  • Hallucination — придумал факты которых нет в контексте
  • Over-scope — пошёл дальше задачи и сломал что-то
  • Under-scope — сделал слишком мало
  • Format mismatch — вернул в неправильном формате
  • Looping — застрял в цикле tool calls
  • Premature stop — остановился до завершения

3. Root cause

Не "плохой промт". Конкретно:

  • Какая строка промта вызвала это поведение?
  • Или: какой информации не хватало?
  • Или: какая фраза создала ambiguity?

4. Конкретные правки

Что меняемГдеСтароеНовоеПочему
Уточнить триггерdescription"use when task is big""use when task has 3+ independent subtasks"Раньше срабатывал на любую "большую"

5. Регрессия-тесты

Создай 3 теста, которые после фикса должны проходить:

  • Тест 1: входные данные → ожидаемое поведение
  • Тест 2: ...
  • Тест 3: ...

И один тест с предыдущим багом — чтобы убедиться что он не повторится.

6. Открытые вопросы

Что нельзя решить промтом и нужно архитектурно:

  • Может агенту нужен другой инструмент
  • Может задача слишком большая для одного агента
  • Может нужно сначала делать другой агент (зависимость)

Принципы анализа

  • Не "промт плохой" — конкретно ЧТО плохо
  • Не "модель глупит" — модель делает то что велят, если задача неоднозначна, виноват промт
  • Документируй фикс — иначе через месяц забудешь и сделаешь снова
  • Один баг = одна правка. Не чини всё сразу — будешь искать причину следующей ошибки
К подразделу «Отладка агентов»
Похожие промты