Заказ закрыт
Наладить ETL используя Яндекс Клауд

Бюджет: Более 5 000 ₽/час
Предложить / наладить ETL используя  Яндекс Клауд
Airflow бета – подключено, уже умеет разворачивать data proc для вычислений
Metastore – подключено

бюджет на ежемесячную эксплутацию до 5 к

Задачи
1) Аирфлоу – еждневное получение данных csv
конвертируем и складываем  parquet в S3 
в сжатом parquet gzip прирост  данных  в день до 150 Мб 

2) Обработка данных

3) Подготовка витрин

4) Визуализация планируется в Даталенс.

кроме ETL не предполагается ежедневного использования сервисов
предложить решение и помочь реализовать схему хранения

работа с данными из jupyter online на pyspark/spark sql

нужна возможность селектить данные внутренними инструментами типа  yandex query

также нужна возможность быстрых расчетов (поднимать на время Кликхаус как сервис+ s3 хранилище?)
Опубликован 17.05.2024 в 15:31 Последнее изменение: 23.05.2024 в 19:18
Заказ находится в архиве

Выберите способ верификации:

Обновите страницу после прохождения верификации.