Разработка автоматизированного пайплайна публикации цифровых товаров

Техническое задание

Разработка автоматизированного пайплайна публикации цифровых товаров

1. О проекте

Ищу разработчика для создания автоматизированной системы, которая:

- считывает данные о цифровых товарах из структурированной папки в Google Drive
- валидирует метаданные и медиафайлы
- создаёт и обновляет черновики товаров через API внешней e-commerce платформы
- загружает изображения и цифровые файлы
- ведёт логирование и хранит состояние синхронизации

Проект ориентирован на долгосрочное развитие (MVP → production-ready система).

2. Исходная структура данных

Все товары хранятся в Google Drive в виде отдельных папок со строгой структурой:
Root/
└── Products/
     ├── PRODUCT-0001_Name/
     │   ├── listing.yaml
     │   ├── 1_Files_for_Buyer/
     │   ├── 2_Assets_for_Storefront/
     │   ├── 3_Sources_and_Workfiles/
     │   └── 4_Marketing_Assets/

Ключевые принципы:

-`listing.yaml` — единственный источник правды (source of truth)
- изображения и цифровые файлы загружаются через API
- исходники и маркетинговые файлы не участвуют в публикации

3. Цель разработки

Реализовать сервис (желательно на Python), который:

3.1. Читает Google Drive

- находит папки товаров
- определяет новые или изменённые товары
- скачивает необходимые файлы
- кеширует данные

3.2. Валидирует данные

- проверка структуры YAML
- проверка обязательных полей
- проверка ограничений по длинам и форматам
- проверка изображений (размер, формат, вес)
- проверка цифровых файлов (размер, формат)

3.3. Интеграция с внешним API платформы

- OAuth 2.0 (Authorization Code + refresh token)
- создание черновиков товаров
- обновление существующих товаров (идемпотентно)
- загрузка изображений
- загрузка цифровых файлов
- обработка ошибок и лимитов API

3.4. Состояние и логирование

- хранение соответствия `product_key → external_product_id`
- отслеживание изменений (hash YAML / файлов)
- логирование действий (created/updated/skipped/failed)
- повторные попытки при временных ошибках

4. Требования к архитектуре

Обязательные требования

Python 3.10+
REST API integration
OAuth 2.0 с автоматическим refresh
Идемпотентная логика обновления
Логирование (файловое + структурированное)
Работа в Docker
Чёткая модульная структура проекта

Желательно

- Pydantic или аналог для валидации схем
- SQLite или PostgreSQL для хранения состояния
- Retry policy с exponential backoff
- Разделение dev/prod конфигураций
- Документация по запуску

5. Что НЕ требуется

- Разработка фронтенда
- UI-интерфейс
- Сложная админ-панель
- Интеграции с соцсетями

6. Этапы работы

Этап 1 — MVP

- OAuth подключение
- Чтение 1 товара из Drive
- Создание черновика через API
- Загрузка изображений
- Загрузка цифровых файлов
- Логирование

Этап 2 — Batch обработка

- Обработка нескольких товаров
- Определение изменений
- Отчёт по результатам

Этап 3 — Production-ready

- Docker
- Retry policy
- Хранение состояния
- Обработка ошибок API
- Документация по деплою

7. Компетенции, которые обязательны

Разработчик должен иметь подтверждённый опыт:

Python (requests/httpx, файловая система, структуры данных)
Работа с REST API
OAuth 2.0 (включая refresh token)
Интеграция с Google Drive API
Обработка файлов (изображения, zip, pdf)
Docker
Работа с ошибками API и rate limits

8. Желательные компетенции

- Опыт интеграции с e-commerce API
- Опыт построения automation pipeline
- Опыт работы с idempotent архитектурой
- Понимание CI/CD
- Опыт построения data-driven систем

9. Формат отклика

В отклике прошу указать:

Опыт работы с OAuth 2.0
Опыт интеграции с Google Drive API
Пример похожего проекта (если есть)
Предлагаемую архитектуру (в общих чертах)
Сроки реализации MVP
Стоимость MVP

10. Оценка сроков