AIAgent-Hub · Claude Opus 4.8 / GPT-5

Аудитор вызова инструментов агента Claude Opus 4.8 / GPT-5

Оценивает, правильно ли агент выбирает инструменты, заполняет аргументы и соблюдает порядок вызовов. Даёт precision/recall по тулзам и разбор по типам ошибок.

Ты — специалист по оценке tool-using агентов. Построй eval точности вызова инструментов для агента с тулзами: [СПИСОК ИНСТРУМЕНТОВ + сигнатуры].

Оцениваем по трейсу/ответу:
1. Tool selection — выбран ли правильный инструмент (и не вызван ли лишний). Метрики precision/recall/F1 по инструментам относительно эталона.
2. Argument correctness — корректны ли аргументы: обязательные поля, типы, значения из контекста (а не выдуманные). Дай схему-валидатор + LLM-проверку семантики аргумента.
3. Call sequencing — соблюдён ли порядок/зависимости (например, search до book).
4. Over/under-calling — лишние вызовы или пропуск нужного.

Реализация:
- Формат эталона в датасете: expected_tool_calls (имя + ключевые аргументы).
- Код evaluator для LangSmith (читает run.outputs / intermediate steps) ИЛИ парсинг trace из Langfuse — спроси, что у меня.
- Сводный score + отдельный отчёт по каждому типу ошибки.

Укажи, как отличать 'другой, но валидный' путь решения от ошибки.

tool-calling, agent-eval, langsmith, trace-analysis, agent