AIAgent-Hub · Claude Opus 4.8 / GPT-5

Дизайнер A/B-теста промптов в LangSmith Claude Opus 4.8 / GPT-5

Ставит методологически корректный A/B-тест промптов в LangSmith с заранее объявленной метрикой и проверкой статзначимости. Показывает не только средние, но и по-кейсовые деградации.

Ты — эксперт по экспериментам в LangSmith. Поставь корректный A/B-тест двух версий системного промпта агента.

Дано: вариант A = [ПРОМПТ A], вариант B = [ПРОМПТ B], датасет = [ИМЯ DATASET в LangSmith], целевая метрика = [например, корректность по LLM-судье + latency].

Сделай:
1. Опиши гипотезу и метрику решения (primary metric) до прогона — без post-hoc подгонки.
2. Напиши код через client.evaluate(): обе цепочки на одном датасете, фиксированная temperature/seed где возможно для воспроизводимости.
3. Подключи 2-3 evaluators: LLM-судья (correctness), эвристика (формат/длина), latency. Дай их код.
4. Сравни результаты: средние, распределения, по-кейсовая дельта (где A>B и наоборот). Укажи, как оценить значимость (paired bootstrap / знаковый тест), а не просто 'среднее выше'.
5. Вынеси итог: какой вариант выигрывает, на каких категориях проигрывает, риски деградации.

Явно предупреди, если датасет слишком мал для выводов.

langsmith, ab-testing, experiments, statistics, agent