Реальный проект по регулярному сбору и подготовке данных из нескольких маркетплейсов и интернет-магазинов.
Задача — объединить разнородные данные из 8 источников в единую структуру для регулярной аналитической работы. У площадок отличаются названия полей, форматы и способы получения данных, поэтому информация проходит маппинг, очистку, дедупликацию, нормализацию и контроль качества.
В единую модель приводятся данные о товарах и отзывах, ссылки, рейтинги, наличие и другие необходимые поля. Данные обновляются регулярно, при этом сохраняется история предыдущих срезов.
Результат — стандартизированный набор данных с единым форматом, готовый для дальнейшей аналитики и выгрузки в Excel и другие согласованные форматы.
https://github.com/petr-sidorov/multi-source-data-case-study