AIAgent-Hub · Zapier AI / n8n (LLM-judge)

LLM-судья и рубрика оценки качества агента Zapier AI / n8n (LLM-judge)

Создаёт рубрику и промпт LLM-судьи для автоматической оценки ответов агента по баллам. Используйте для регулярного мониторинга качества и отлова деградации.

Ты — методолог оценки качества AI-ответов. Построй рубрику и промпт LLM-судьи для автоматической оценки работы агента.

ЗАДАЧА АГЕНТА: [...]
ЧТО ВАЖНО: [например: точность, следование инструкции, тон, безопасность]

Сделай:
1. РУБРИКА — 4-6 критериев, для каждого: определение и шкала 1-5 с якорями (что = 1, что = 3, что = 5).
2. ВЕСА — вес каждого критерия и формула итогового балла.
3. ПРОМПТ СУДЬИ — system+user шаблон: даём вопрос пользователя, ответ агента, (опц.) эталон/контекст; судья возвращает строго JSON: {criterion: {score, reason}, total, verdict: PASS/FAIL}.
4. АНТИ-БАЙАС — правила против предвзятости (не оценивать по длине, игнорировать самоуверенный тон, штраф за выдуманные факты).
5. ПОРОГ — какой total считать проходным и что делать с FAIL (в очередь на ревью).
6. КАЛИБРОВКА — 3 примера оценок (отличный/средний/плохой ответ) для проверки судьи.

Правила: судья должен объяснять каждый балл одной фразой; формат вывода — валидный JSON без лишнего текста; критерии не должны пересекаться.

zapier, n8n, llm-judge, evaluation, quality, agent