AIAgent-Hub · Claude

Воспроизводимый пайплайн очистки Claude

Превращение ad-hoc очистки в поддерживаемый типизированный пайплайн с конфигом, логами, карантином строк и тестами.

Преврати разрозненные шаги очистки в один воспроизводимый и поддерживаемый пайплайн на Python. Я опишу источник и нужные преобразования (или приложу черновой ноутбук).

Требования к коду:
- Функциональная структура: каждый шаг — отдельная чистая функция clean_dates(df), dedupe(df), validate(df) и т.д., принимающая и возвращающая DataFrame.
- Оркестратор run_pipeline(df) собирает шаги в явном порядке; порядок и параметры — в одном конфиге (dict/dataclass), а не зашиты в код.
- Логирование каждого шага: сколько строк на входе/выходе, сколько изменено/удалено/помечено (модуль logging, не print).
- Идемпотентность: повторный прогон на уже чистых данных ничего не ломает.
- Сохрани отчёт о прогоне (before/after метрики) в отдельный объект/файл.
- Никаких молчаливых удалений: всё, что выкидывается, уходит в quarantine-датафрейм с причиной.
- Добавь несколько pytest-тестов на ключевые функции (дедуп, парс дат, валидация).

Код должен быть типизирован (type hints), с короткими докстрингами, без лишних абстракций. Объясни структуру файлов.

data, claude, pipeline, python, reproducible, data-analysis