Бюджет контекста для агента

Спланируй бюджет контекста агента.

Почему это важно

• Большой контекст = медленнее + дороже
• В длинном контексте модель "забывает" середину (lost in the middle)
• Каждый дополнительный токен в инпуте = меньше места для ответа

1. Известные параметры

• Лимит модели (например, 200k токенов)
• Целевая стоимость на запрос
• Типичный размер ответа

2. Разделы бюджета

3. Что не должно лезть в контекст

• Полный код большого репо (только нужные части)
• Сырые логи (отфильтруй сначала)
• Старые сообщения которые не нужны для задачи
• Длинные приветственные блоки

4. Стратегии экономии

Sliding window: держи только последние N сообщений

• Плюс: простой
• Минус: теряет ранний контекст

Summarisation: периодически сжимай старую историю в саммари

• Плюс: сохраняет суть
• Минус: теряет детали, новый LLM-вызов

Selective recall: ищи релевантные части старого контекста по запросу

• Плюс: умно
• Минус: сложнее, может пропустить нужное

Tools instead of context: не клади весь файл, дай агенту инструмент Read(path)

• Плюс: лень-загрузка
• Минус: больше tool-calls

5. Замеры

Прежде чем оптимизировать — замерь:

• Сколько токенов в среднем уходит на каждый раздел?
• Какие сообщения самые тяжёлые?
• Где режется в truncation?

6. Cache

Если используешь Anthropic API:

• Cacheable части (системный промт, описания tools) — кешируй
• Это и быстрее, и в 10x дешевле
• Не кешируй то что меняется на каждый запрос

Принципы

• Качество > количество. 50k нужного контекста лучше 150k шума
• Прокрусти контекст через "это поможет ответу или нет?"
• Длинный системный промт — обычно ошибка. Конкретнее, не длиннее
• Если хочешь дать агенту "всё на всякий случай" — у тебя плохой агент-дизайн