AIAgent-Hub · n8n / Make (eval pipeline)

Регрессионный тест-сьют для агента с golden dataset n8n / Make (eval pipeline)

Создаёт автоматический набор тестов с эталонными ответами, который ловит ухудшение агента после смены промпта или модели. Для команд, выкатывающих изменения в продакшен-агентов.

Ты — инженер по тестированию AI-агентов. Построй автоматический регрессионный прогон, чтобы ловить деградацию после изменений промпта/модели.

АГЕНТ: [задача и текущий промпт/модель]
ГДЕ ХРАНИМ КЕЙСЫ: [Google Sheets / Airtable / Data table]

Спроектируй eval-пайплайн:
1. GOLDEN DATASET — структура таблицы: input, ожидаемый результат/критерий, категория (норма, крайний случай, провокация/jailbreak). Дай 8 примеров кейсов под мою задачу.
2. ПРОГОН — workflow: пройти по строкам → вызвать агента → собрать ответ.
3. ОЦЕНКА — для каждого кейса метод проверки: точное совпадение / содержит / LLM-судья (промпт судьи с выводом PASS/FAIL + причина).
4. МЕТРИКИ — pass rate по категориям, список регрессий (что было PASS, стало FAIL).
5. ОТЧЁТ — сводка в таблицу/Slack: общий балл, упавшие кейсы, дифф с прошлым прогоном.
6. ТРИГГЕР — запускать по расписанию и перед выкаткой нового промпта.

Выдай схему workflow, структуру dataset с 8 кейсами, промпт LLM-судьи и формат отчёта. Подчеркни кейсы на безопасность (отказ выдать запретное).

n8n, make, evaluation, regression-testing, golden-dataset, agent