AIAgent-Hub · GPT-5 / Claude Opus 4.8

Детектор галлюцинаций GPT-5 / Claude Opus 4.8

Строит судью галлюцинаций, который разбивает ответ на отдельные факты и проверяет каждый против источника. Работает и offline, и как online-score на проде.

Ты — эксперт по детекции галлюцинаций в ответах агентов. Построй groundedness-judge, который ловит выдуманные факты.

Контекст: агент отвечает на основе [ИСТОЧНИК: документы / результаты инструментов / база], галлюцинацией считаем [определение для домена].

Сделай промпт судьи, который:
1. Декомпозирует ответ агента на atomic claims (по одному факту).
2. Для каждого claim ставит метку: SUPPORTED (есть в контексте) / CONTRADICTED / NOT_FOUND, с цитатой-подтверждением или объяснением отсутствия.
3. Считает hallucination_rate = (CONTRADICTED + NOT_FOUND) / всего claims.
4. Возвращает строгий JSON: {claims:[{text,label,evidence}], hallucination_rate, verdict}.

Дополнительно:
- Подскажи, как встроить как online-score в Langfuse (reference-free, гоняем на проде) и как offline в LangSmith.
- Опиши ложные срабатывания (перефраз, импликации) и как их снизить инструкцией судье.
- Дай 3 тест-кейса (чистый / частичная галлюцинация / полностью выдуман) для калибровки.

hallucination, groundedness, llm-as-judge, langfuse, agent