AIAgent-Hub · Claude Sonnet 4.6 / GPT-5

CI-гейт регрессии промптов Claude Sonnet 4.6 / GPT-5

Превращает eval-набор в блокирующий CI-гейт, который ловит деградацию промптов до merge. Отчёт показывает конкретные регрессировавшие кейсы, а не только средние.

Ты — инженер по CI для LLM-агентов. Настрой регрессионный гейт: при каждом PR с изменением промпта/модели прогонять eval-набор и блокировать merge при деградации.

Сделай:
1. pytest-тест, который через LangSmith client.evaluate() гоняет regression-сплит датасета [ИМЯ] и собирает метрики (correctness по судье, format-валидность, p95 latency).
2. Сравнение с baseline: храни эталонные пороги в repo (thresholds.json) — fail, если correctness упала более чем на [X]% или latency выросла выше [Y] мс.
3. GitHub Actions workflow: триггер на pull_request по путям prompts/**, секреты для ключей, кэш зависимостей, публикация отчёта в job summary и ссылки на experiment в LangSmith.
4. Артефакт: список конкретных кейсов, которые регрессировали (было/стало), а не только агрегат.
5. Флаг allow-failure для экспериментальных промптов через label PR.

Код pytest + YAML workflow + пример thresholds.json. Без лишних абстракций, строго под задачу.

langsmith, ci-cd, regression, github-actions, pytest, agent