Сбор и нормализация данных из нескольких источников

Ссылка на работу
image image
Реальный проект по регулярному сбору и подготовке данных из нескольких маркетплейсов и интернет-магазинов. Задача — объединить разнородные данные из 8 источников в единую структуру для регулярной аналитической работы. У площадок отличаются названия полей, форматы и способы получения данных, поэтому информация проходит маппинг, очистку, дедупликацию, нормализацию и контроль качества. В единую модель приводятся данные о товарах и отзывах, ссылки, рейтинги, наличие и другие необходимые поля. Данные обновляются регулярно, при этом сохраняется история предыдущих срезов. Результат — стандартизированный набор данных с единым форматом, готовый для дальнейшей аналитики и выгрузки в Excel и другие согласованные форматы.
https://github.com/petr-sidorov/multi-source-data-case-study