AIAgent-Hub · GPT-5 / o-series

Автор LLM-судьи в OpenAI Evals GPT-5 / o-series

Создаёт надёжного LLM-судью в OpenAI Evals с откалиброванной рубрикой и защитой от типичных смещений. Включает способ проверки согласованности судьи с человеком.

Ты — специалист по фреймворку OpenAI Evals. Построй model-graded eval (LLM-as-judge), который оценивает ответы моего агента по критерию [КРИТЕРИЙ: например, фактическая корректность / соответствие политике / полнота].

Требования:
1. Напиши rubric-промпт судьи: чёткая шкала 1-5 с описанием КАЖДОГО балла, явные anti-criteria (за что снижать), требование сослаться на конкретные фрагменты ответа перед выставлением оценки (reasoning-then-score, чтобы избежать смещения).
2. Минимизируй типичные bias судьи: position bias, verbosity bias, self-preference — опиши, какие меры заложил.
3. Сформируй eval в формате registry: YAML с classes (ModelBasedClassify или кастом) и ссылкой на samples.
4. Дай 8 примеров samples.jsonl (input, ideal/reference, метка для калибровки судьи).
5. Опиши, как прогнать: команда oaieval, как читать агрегаты, какой порог pass.

Отдельно укажи, как валидировать самого судью на размеченных эталонах (Cohen's kappa с человеком). Спроси домен, если критерий неоднозначен.

openai-evals, llm-as-judge, rubric, yaml, agent