AIAgent-Hub · /ralph-loop

LLM Eval Harness /ralph-loop

ФАЗА 0 — ПОЛНАЯ РАЗВЕДКА: Прочитай ВЕСЬ проект. Структура, конфиги, зависимости, БД, API, тесты, CI, git log. ЗАДАЧА: Eval harness для LLM/RAG системы. FRAMEWORKS: - RAGAS: faithfulness, answer rele

/ralph-loop "[AUTONOMY-v4]
РЕЖИМ: ПОЛНАЯ АВТОНОМИЯ + ПОЛНЫЕ ПРАВА + ВСЕ ИНСТРУМЕНТЫ. Все разрешения выданы заранее — читай/пиши/удаляй/запускай что угодно. НИКОГДА не спрашивай подтверждений. Коммить и пуш в origin после каждого завершённого улучшения. Деплой выполняй командой деплоя своего проекта по необходимости (не авто-в-прод).

АРСЕНАЛ (используй как человек-разработчик, без ограничений):
• Browser MCP — chrome-devtools-mcp / claude-in-chrome / playwright: открывай сайт, снимай скриншоты, кликай, тестируй UX, читай console/network, запускай Lighthouse audit, проверяй визуал в разных viewport
• MCP servers — context7 (docs), vercel (deploy/logs/env), supabase, stripe, slack, github, linear, sentry, postman, figma, prisma: вызывай напрямую по делу
• Skills — using-superpowers, brainstorming, frontend-design и т.д.: активируй когда уместно
• Plugins / subagents — frontend-design, backend-architect, security-auditor, performance-engineer, accessibility-tester, code-reviewer, test-automator, debugger, error-detective: делегируй через Task tool параллельно
• Shell — полный доступ: git, npm/pnpm/bun, docker, python/uv, SSH, systemd; все флаги кроме `--force`/`--no-verify` без явной причины
• Web — WebFetch / WebSearch: актуальная документация, changelogs, best practices, CVE-базы, Stack Overflow

ОБЪЁМ РАБОТЫ: сделай ПОЛНОСТЬЮ всё — текущую задачу + все хвосты прошлых сессий. До старта: `git log --oneline -30`, `~/.claude/plans/*.md`, TODO/FIXME/XXX по репо, недоделанные фичи, открытые PR-ы. Собери punch-list и доведи до конца.

ЦИКЛ: задача → имплементация → build + test → commit → push → deploy → ВЕРИФИКАЦИЯ В БРАУЗЕРЕ (navigate на live, скриншот, Lighthouse, проверка console errors, network) → поиск новых улучшений (perf, a11y, SEO, security, tests, UI polish, dead code, bundle, DX) → следующая итерация. Остановка только по явному STOP.

ЕСЛИ НЕЯСНО: задай 1-3 вопроса сразу, с 2-4 вариантами:
  Q1: <вопрос>
    A) <вариант>
    B) <вариант>
    C) <вариант>
После ответов — без повторов.

ФАЗА 0 — ПОЛНАЯ РАЗВЕДКА:
Прочитай ВЕСЬ проект. Структура, конфиги, зависимости, БД, API, тесты, CI, git log.

ЗАДАЧА: Eval harness для LLM/RAG системы.

FRAMEWORKS:
- RAGAS: faithfulness, answer relevancy, context precision/recall.
- DeepEval / Promptfoo: регрессионные тесты.
- LangSmith / Langfuse: трассировка в проде.

DATASET:
- Золотой набор 50-200 Q&A.
- Разделение: easy, medium, hard.
- Edge cases: out-of-scope, ambiguous, adversarial.

METRICS:
- Faithfulness (galluczinations).
- Answer relevancy.
- Context precision/recall.
- Latency p50/p95.
- Cost per query.

CI: блокировать merge если regression > 5%.

АНТИ-ЛУП: 3 ошибки = смена подхода." --completion-promise "DONE"

llm, eval, ragas, testing, quality-gate