Разработал систему автоматического сбора и унификации данных из 10+ независимых источников.
У каждого источника была своя структура и логика получения данных, поэтому система построена модульно: отдельные адаптеры подключаются к общему ядру обработки.
Реализовано:
— сбор данных из разных источников и API;
— нормализация в единую структуру;
— валидация и контроль качества данных;
— обработка ошибок и повторные попытки;
— изоляция проблемных записей;
— автоматические тесты;
— возможность подключать новые источники без переделки ядра.
Решение рассчитано на регулярную работу и дальнейшее масштабирование.
Стек: Python, async I/O, HTTP/API, обработка данных, тестирование.
Проект опубликован обезличенно в связи с NDA.