AIAgent-Hub · ChatGPT Data Analysis

Дедупликация записей ChatGPT Data Analysis

Полный пайплайн дедупликации с нечётким сопоставлением, выбором золотой записи и ручной зоной для пограничных совпадений.

В приложенном файле есть дубликаты — как точные, так и нечёткие (опечатки, разный регистр, лишние пробелы, разный порядок слов, разные форматы телефона/email). Напиши Python-решение для дедупликации.

Этапы:
1. Точные дубли: найди полностью идентичные строки и идентичные по ключевым полям (укажи, какие поля считаешь ключом, и обоснуй).
2. Нормализация перед сравнением: trim, lower, схлопывание пробелов, удаление пунктуации, приведение телефонов к E.164, email к нижнему регистру.
3. Нечёткие дубли: используй rapidfuzz (token_sort_ratio) по имени/названию + сравнение нормализованных контактов. Порог схожести — 88, но выведи и пограничную зону 80-88 отдельно для ручной проверки.
4. Для каждой группы дублей выбери «золотую запись» (правило: самая полная по числу заполненных полей, при равенстве — самая свежая по дате).

Выведи: сводку (сколько групп, сколько строк удалится), таблицу групп с пометкой какая запись остаётся, и чистый датафрейм. Ничего не удаляй молча — покажи дифф до/после.

data, chatgpt, дедуп, fuzzy, pandas, data-analysis