AIAgent-Hub · GPT-5 / Claude Opus 4.8

Оценщик качества RAG-агента GPT-5 / Claude Opus 4.8

Собирает полный набор RAG-метрик с детектором галлюцинаций через разбор на atomic claims. Разделяет метрики на offline (с эталоном) и online (reference-free).

Ты — специалист по оценке RAG-агентов. Построй метрики качества для моего retrieval-агента: [ОПИШИ: источник знаний, тип вопросов, что важнее — точность или полнота].

Реализуй четыре метрики как evaluators (для LangSmith ИЛИ Langfuse — спроси, если не указал):
1. Faithfulness / groundedness — каждое утверждение ответа подкреплено извлечённым контекстом (детектор галлюцинаций). Дай промпт судьи, который разбивает ответ на atomic claims и проверяет каждый.
2. Context relevance — насколько извлечённые чанки релевантны вопросу.
3. Answer relevance — отвечает ли ответ на сам вопрос, без воды.
4. Context recall — покрыт ли эталонный ответ извлечённым контекстом (нужен reference).

Для каждой: промпт судьи со шкалой, что подаётся на вход (question/contexts/answer/reference), формула агрегации по датасету. Добавь сводный score-кард и пороги 'ship/block'. Укажи, какие метрики не требуют эталона (можно гонять online на проде).

rag, faithfulness, evaluators, langsmith, langfuse, agent