Правительство МосквыData Engineer (Цифровой двойник)
офис, Москва
Команда развивает «Цифровой Двойник» Москвы — систему для BIM/CIM, геоинформации и архитектурной визуализации. Вы будете проектировать и поддерживать хранилища и ETL-пайплайны больших данных, чтобы обеспечить своевременные управленческие решения и сервисы для города
Стек
PythonSparkPostgreSQLAirflowClickHouseGreenplumHiveNiFiHadoopSQL
Задачи
- •проектирование и разработка решений для хранения и обработки больших данных
- •построение и поддержка ETL-пайплайнов для загрузки данных из внутренних и внешних источников
- •оптимизация и сопровождение существующих пайплайнов и запросов
- •разработка логики витрин данных и внедрение моделей на больших данных
- •создание и развитие процессов управления данными и контроля качества
Обязательно
- •продвинутые знания SQL и навыки оптимизации сложных запросов
- •опыт работы с PostgreSQL
- •опыт работы с ClickHouse, Greenplum или Hive
- •опыт работы с Airflow и NiFi
- •опыт разработки в экосистеме Hadoop
- •знание фреймворка Spark и оптимизации запросов
- •опыт разработки на Python
Будет плюсом
- •навыки разработки технической документации
