MOEX – загрузка данных о ценных бумагах и котировках (Airflow)
- Необходимо изучить API MOEX (Московской биржи) –
,
,
- Описание ИСС Московской биржи –
- Необходимо реализовать DAG для Airflow на основе примеров на Python для загрузки данных в PostgreSQL на периодической основе
- Необходимо будет покрыть код авто тестами для возможности выявления ошибок при добавлении нового функционала
- Загрузка всей информации, как референсной информации, так и котировок
- Необходимо будет оценить скорость загрузки и предложить решения по оптимизации
- Необходимо будет предложить идеи по построению правильной модели данных и хранению истории
- В дальнейшем предполагается отображение биржевой информации на сайте, предполагается построение витрин
- В идеале – если сможете спроектировать и предложить полный процесс – ETL -> Data Model -> BI
Стек технологий:
- Python
- Airflow
- PostgreSQL
- DataLens
При отклике, сообщите, пожалуйста
- Все ли отдельные задачи возможно выполнить, или готовы предложить более лучшее решение
- Какие потенциальные сложности видите, с учетом того, что в дальнейшем планируется добавление нового функционала, новых источников данных и т.д.
- Подходит ли стек технологий
- Примеры реализованных проектов на Airflow, по возможности
- Этапность реализации и оценка по срокам
- Стоимость