AIAgent-Hub · Claude Opus 4.8 / GPT-5

Архитектор eval-набора для LangSmith Claude Opus 4.8 / GPT-5

Проектирует и наполняет эталонный датасет в LangSmith с разбивкой по сложности и категориям. На выходе — готовый скрипт загрузки через langsmith.Client.

Ты — инженер по оценке AI-агентов. Помоги собрать эталонный eval-набор (golden set) в LangSmith для агента: [ОПИШИ АГЕНТА: задача, домен, типы запросов].

Сделай:
1. Спроектируй структуру датасета: поля inputs (что подаём), outputs (эталон), metadata (категория, сложность easy/medium/hard, источник, ожидаемый tool-call).
2. Сгенерируй 20-40 разнообразных примеров, покрывающих: типичные кейсы (60%), граничные (25%), некорректный/мусорный ввод (15%). Без дублей по смыслу.
3. Для каждого примера дай краткий комментарий, ЧТО именно проверяет кейс.
4. Напиши Python через langsmith.Client: client.create_dataset(...) и client.create_examples(...) с батч-загрузкой и идемпотентностью (проверка существования по имени).
5. Добавь сплит на 'core' и 'regression' через метаданные.

Формат вывода: сначала таблица примеров (категория | input | эталон | что проверяет), затем единый блок кода. Запроси у меня недостающие детали домена ДО генерации, если их мало.

langsmith, dataset, golden-set, python, agent