Дизайн RAG-системы для агента

Спроектируй RAG для корпуса {{corpus}}.

Зачем RAG

Дать агенту доступ к актуальной, специфичной информации которой нет в его обучающих данных.

Когда RAG лучше fine-tune

• Данные часто меняются
• Нужна цитируемость (показать источник)
• Корпус большой (десятки тысяч документов+)
• Нет ресурсов на fine-tune

Архитектура

[Документы] → [Чанкер] → [Эмбеддер] → [Vector DB]
                                            ↑
                                         [Query]
                                            ↓
[LLM] ← [Контекст] ← [Reranker] ← [Top-K]

1. Чанкинг (как резать документы)

Самое важное решение. Размер чанка влияет на качество.

Overlap: 10-20% между соседними чанками — чтобы не разрывать контекст.

Метаданные на чанк: doc_id, section, page, timestamp, source — это поможет фильтрации и rerank.

2. Эмбеддинги

Модель:

• OpenAI text-embedding-3-large — топ качество
• Voyage AI — хорошее качество, лучше для кода
• Open-source: bge-large, nomic-embed — self-host

Размер: 1024-3072 dimensions для качества. Для скорости — 384-768.

Hybrid поиск: комбинируй векторный + keyword (BM25). Векторный лучше для семантики, keyword — для точных терминов / имён.

3. Vector DB

4. Запрос → результаты

Шаг 1: query embedding
Шаг 2: top-50 ближайших векторов
Шаг 3: rerank top-50 → top-5 (cross-encoder reranker)
Шаг 4: context = concatenate top-5 chunks
Шаг 5: LLM с context + query

Reranking — критично. После retrieve у тебя 50 кандидатов, нужно выбрать лучшие 5. Cross-encoder (Cohere Rerank, Voyage Rerank) делает это сильно лучше чем cosine similarity.

5. Контекст для LLM

Тебе доступны следующие фрагменты из {{corpus}}:

[1] Source: doc.md, section: "Setup"
"..."

[2] Source: api.md, section: "Auth"
"..."

[3] Source: faq.md
"..."

На основе этих фрагментов ответь на вопрос. Если ответ не в фрагментах — скажи "не знаю". Цитируй источники [N].

6. Метрики качества

• Retrieval recall@k: есть ли правильный документ в top-k
• Faithfulness: не выдумал ли LLM то чего нет в контексте
• Answer relevance: соответствует ли ответ вопросу
• Citation precision: правильные ли цитаты

Делай eval set из 50-100 пар "вопрос → правильный документ" и прогоняй на каждом изменении.

7. Обновление индекса

• Полная переиндексация (раз в неделю)
• Delta-обновления (на каждый изменённый документ)
• Удаление: чанки помечаются tombstone, периодический cleanup

8. Стоимость

Анти-паттерны

• ❌ Чанки по 100 токенов — нет контекста
• ❌ Чанки по 8k токенов — слишком много шума в контексте LLM
• ❌ Без reranking — top-5 будут случайные
• ❌ Хранить вектор без метаданных — нечем фильтровать
• ❌ Грузить весь doc в context, а не chunks — bloat
• ❌ Не делать eval — летаешь вслепую

Принципы

• Качество retrieval > качество LLM. Если retrieval плохой — никакая модель не вытянет.
• Hybrid > pure vector
• Reranking даёт +20-40% к качеству
• Eval set обязателен