Интеграция Яндекс.Директ и других источников с БД ClickHouse

Введение 

Необходима интеграция рекламных кабинетов и аналитических инструментов с нашей базой данных ClickHouse. Нам необходимо автоматизировать сбор и передачу данных из нескольких источников, чтобы получить централизованную систему отчетности. 

Если у вас есть опыт работы с API рекламных платформ и аналитических сервисов, а также навыки интеграции данных в ClickHouse, будем рады обсудить детали. 

Бизнес-требования 

1. Необходимые для подключения источники данных: 

ВКонтакте (Старый и Новый кабинет, Маркет-платформа) 

Яндекс.Директ и Яндекс.Метрика(4 рекламных кабинета) 

Google Ads 

YouTube 

Google Analytics 

AdvCake 

Flocktory 

Amo CRM 

GetCourse 

2. Задачи интеграции: 

Получение данных через API (частота обновления 1 час) 

Структурирование данных для удобного хранения и анализа 

Автоматическая загрузка в ClickHouse 

3. Требования к качеству данных: 

Проверка корректности загруженных данных, а также проверка на дубли. 

Логирование ошибок и уведомления на электронную почту 

4. Технические требования: 

Данные должны быть легко доступны для интеграции 

Оптимизация запросов и таблиц 

5. Безопасность и доступ: 

Управление доступами к API, желательно чтобы только определенные IP могли получить доступ 

Безопасное хранение токенов и ключей, возможно использование переменного окружения 

Если у вас есть примеры успешных интеграций с ClickHouse или подобными базами данных, будем рады их увидеть!