Разработчик хранилища данных (DWH) (data engineer)

Требования:

1. Опыт работы в роли инженера данных или разработчика DWH от 3 лет.
2. Глубокое знание и опыт работы с PostgreSQL:
3. Оптимизация запросов и производительности
4. Проектирование схем баз данных
5. Работа с индексами и партиционированием
6. Опыт работы с ClickHouse:
7. Понимание особенностей колоночного хранения данных
8. Оптимизация запросов и производительности
9. Моделирование данных для ClickHouse
10. Уверенное владение SQL, включая сложные запросы, оконные функции, CTEs.
11. Опыт разработки и поддержки ETL/ELT процессов.
12. Знание принципов проектирования хранилищ данных (DWH).
13. Опыт работы с системами контроля версий (Git).
14. Базовые знания Python или другого языка программирования для обработки данных.
15. Понимание принципов Data Governance и обеспечения качества данных.
16. Опыт работы с большими объемами данных.
17. Опыт работы с Apache Airflow или другими инструментами оркестрации.
18. Опыт работы с инструментами визуализации данных (DataLans, Tableau, Power BI).
19.  Понимание принципов построения дата-лейков.
20. Знание методологий Agile и опыт работы в Scrum командах.
21. Опыт работы с технологиями потоковой обработки данных (Apache Kafka).

Обязанности:

1. Проектирование и разработка архитектуры хранилища данных на базе PostgreSQL и ClickHouse.
2. Разработка и оптимизация ETL/ELT процессов для загрузки данных из различных источников.
3. Оптимизация производительности баз данных и запросов.
4. Разработка и поддержка data pipelines для обработки больших объемов данных.
5. Обеспечение качества и целостности данных в хранилище.
6. Создание и поддержка документации по архитектуре данных и процессам.
7. Взаимодействие с аналитиками и бизнес-пользователями для понимания требований к данным.
8. Участие в проектировании и реализации решений для бизнес-аналитики.
9. Мониторинг и оптимизация производительности хранилища данных.
10. Участие в code reviews и внедрение лучших практик разработки.
11. Сотрудничество с командами разработки и DevOps для интеграции решений по работе с данными.