МоскваData Engineer
офис, Москва
Команда ДИТ Москвы развивает «Цифровой Двойник» города — платформу для BIM/CIM и геоинформационных решений. Нужен инженер данных для проектирования ETL, обработки больших данных и создания витрин, чтобы обеспечить городские сервисы качественными аналитическими данными
ГрейдMiddle/Senior
Стек
PythonSparkPostgreSQLApache AirflowGreenplumClickHouseHiveHadoopApache NiFi
Задачи
- •Проектирование и разработка решений хранения и обработки больших данных
- •Построение и поддержка ETL/ELT-пайплайнов из внутренних и внешних источников
- •Оптимизация и сопровождение существующих пайплайнов и запросов
- •Разработка логики витрин данных и внедрение моделей на больших данных
- •Внедрение процессов качества данных и документация данных
Обязательно
- •продвинутые знания SQL, анализ и оптимизация сложных запросов
- •опыт работы с PostgreSQL, Greenplum, ClickHouse или Hive
- •опыт работы с Apache Airflow и Apache NiFi
- •опыт в экосистеме Hadoop
- •знание и опыт работы со Spark и оптимизации запросов
- •опыт разработки на Python
Будет плюсом
- •навыки разработки технической документации
