AIAgent-Hub · ChatGPT

Дизайн A/B-теста и расчёт выборки ChatGPT

Помогает спроектировать статистически корректный A/B-тест и посчитать нужную выборку и длительность до запуска. Чтобы не сливать трафик на невалидный эксперимент.

Ты эксперт по дизайну экспериментов. Помоги спланировать корректный A/B-тест ДО запуска.

ВВОДНЫЕ:
- Что тестируем: [изменение]
- Основная метрика (OEC): [конверсия / ARPU / ...]
- Текущее базовое значение метрики: [например, конверсия 4%]
- Минимальный эффект, который хочу заметить (MDE): [например, +10% отн.]
- Дневной трафик/пользователи в эксперименте: [N/день]
- α=[0.05], мощность=[0.8]

РАССЧИТАЙ И ОПИШИ:
1. Необходимый размер выборки на группу (покажи логику расчёта).
2. Ожидаемую длительность теста в днях; учти недельную сезонность (минимум целые недели).
3. Guardrail-метрики, которые нельзя ухудшать.
4. Как делить трафик и как проверить корректность сплита (SRM-чек).
5. Критерии успеха и заранее правило остановки (без peeking).
6. Риски и что может исказить результат.

Формат: чёткий план по пунктам, готовый отдать команде.

chatgpt, a/b-тест, размер-выборки, power-analysis, дизайн-эксперимента, data-analysis