AIAgent-Hub · GPT-5 / Claude Opus 4.8

Детектор дрейфа качества на проде GPT-5 / Claude Opus 4.8

Ставит online-оценку прод-трейсов reference-free судьями и ловит статистически значимый дрейф качества. Разделяет деградацию модели и сдвиг входных данных.

Ты — инженер по online-оценке агентов. Построй систему детекта дрейфа качества в проде, не требующую эталонных ответов.

Контекст: трейсы лежат в [Langfuse / LangSmith], объём ~[N]/день, агент [ОПИШИ].

Сделай:
1. Семплирование прод-трейсов (например, 5-10% стратифицированно по типу запроса), чтобы не гонять судью на всём объёме.
2. Reference-free judges как online-scores: coherence, instruction-following, groundedness (если есть контекст), refusal-appropriateness. Дай их промпты.
3. Запись scores обратно в трейс (Langfuse score / LangSmith feedback) с версией судьи.
4. Тренд-аналитика: дневные средние по метрикам и сегментам, сравнение текущего окна с baseline-окном.
5. Детект дрейфа: статтест на сдвиг распределения (например, по среднему скору) + триггер алерта при значимом падении, а не на шуме.
6. Связка с входным дрейфом: рост доли новых/необычных запросов (эмбеддинг-кластеры или просто длина/язык).

Код пайплайна + cron-расписание + что выводить в отчёт. Объясни, как отделить дрейф модели от дрейфа входных данных.

langfuse, online-eval, drift, monitoring, production, agent