Наладить ETL используя Яндекс Клауд

Предложить / наладить ETL используя  Яндекс Клауд
Airflow бета – подключено, уже умеет разворачивать data proc для вычислений
Metastore – подключено

бюджет на ежемесячную эксплутацию до 5 к

Задачи
1) Аирфлоу – еждневное получение данных csv
конвертируем и складываем  parquet в S3 
в сжатом parquet gzip прирост  данных  в день до 150 Мб 

2) Обработка данных

3) Подготовка витрин

4) Визуализация планируется в Даталенс.

кроме ETL не предполагается ежедневного использования сервисов
предложить решение и помочь реализовать схему хранения

работа с данными из jupyter online на pyspark/spark sql

нужна возможность селектить данные внутренними инструментами типа  yandex query

также нужна возможность быстрых расчетов (поднимать на время Кликхаус как сервис+ s3 хранилище?)