Базовый ETL-пайплайн для одного источника: заказать услугу у исполнителя Иван St на бирже удаленной работы FL.RU

Создам готовый к работе (production-ready) автоматизированный пайплайн для сбора, обработки и загрузки данных из одного источника в одну целевую таблицу в вашей базе данных. Это идеальное решение, если вам нужно наладить надежный и автоматический поток данных для аналитики, отчетности или работы других сервисов. Я занимаюсь всем циклом разработки — от анализа до развертывания и поддержки, гарантируя стабильность и предсказуемость результата. Технологический стек: Языки: Python (FastAPI, Asyncio, aiohttp), Java (Spring Boot). Базы данных: PostgreSQL (основная специализация), MySQL, ClickHouse, MS SQL. Что входит в базовую услугу: Проектирование: Анализ источника данных (API, сайт, файл) и разработка структуры целевой таблицы в вашей БД. Извлечение (Extract): Написание коннектора для стабильного получения данных. Преобразование (Transform): Реализация базовой логики очистки и преобразования данных (стандартизация форматов, приведение типов, простые валидации). Загрузка (Load): Настройка загрузки данных в целевую таблицу. Автоматизация: Настройка автоматического запуска по расписанию (например, раз в сутки) с помощью cron или встроенного планировщика. Логирование: Базовое логирование запусков (успех/ошибка) в файл или консоль. Развертывание: Упаковка приложения в Docker-контейнер и предоставление инструкций для запуска на вашем сервере. В результате вы получаете полностью автономный сервис, который будет работать 24/7 без вашего участия.

Заказчик получит:

Исходный код pipeline, SQL скрипт для для создания таблиц в БД, Инструкция. + Docker образ, если нужно.

До начала работы заказчик должен предоставить:

Четкое описание бизнес-задачи и конечной цели. Доступы к источникам данных (API-ключи, ссылки на сайты, примеры файлов). Доступы к серверу и базе данных для развертывания. Описание желаемой структуры данных на выходе.