Была разработана backend-часть CDP-платформы, обеспечивающая сбор данных, работу с пользовательскими сегментами, загрузку данных из рекламных кабинетов и интеграцию с рекламными платформами. Решение позволяет обрабатывать большие объёмы данных и использовать их для аналитики, сегментации и маркетинговых сценариев.
Что было сделано:
реализована backend-часть CDP-платформы;
разработана логика сбора и обработки данных;
реализована работа с потоковыми данными через Apache Kafka;
реализована загрузка данных из рекламных кабинетов;
разработан API для работы с пользовательскими сегментами;
разработан API для взаимодействия с рекламными кабинетами;
реализована обработка фоновых задач через Celery;
организовано хранение и аналитическая обработка данных в ClickHouse;
использовался GreenPlum для хранения и обработки больших массивов данных;
подготовлена инфраструктурная часть с использованием Yandex Cloud;
реализованы механизмы обмена данными между внутренними сервисами платформы.
Основные функции платформы:
сбор клиентских и событийных данных;
обработка больших объёмов данных;
формирование и управление сегментами аудитории;
загрузка статистики и данных из рекламных кабинетов;
интеграция с внешними рекламными платформами;
API для работы с сегментами;
API для обмена данными с рекламными кабинетами;
фоновая обработка задач;
хранение и аналитическая обработка данных.
