МоскваData Engineer
Москва
Команда ДИТ Москвы ищет Data Engineer для проектирования и разработки ETL/ELT-пайплайнов и DWH-решений, которые поддерживают цифровые сервисы города. Работа влияет на доставку данных для сервисов и принятие решений в городских продуктах
ГрейдJunior/Middle
Опытот 2 лет
Стек
PythonAirflowPostgreSQLKafkaSparkDBTClickHouseGreenplumOracleMongoDBLinuxGitLabREST APISQL
Задачи
- •Проектирование и разработка ETL/ELT-пайплайнов
- •Оптимизация и сопровождение существующих процессов обработки данных
- •Написание качественного кода с тестами и рефакторинг
- •Взаимодействие со смежными командами и участие в планировании
- •Менторство и онбординг новых сотрудников
- •Ведение технической документации и отчётности
Обязательно
- •опыт работы Data Engineer от 2 лет
- •уверенный Python
- •эффективный SQL
- •опыт с Airflow, Spark и/или DBT
- •глубокое знание как минимум двух СУБД: ClickHouse, Greenplum/PostgreSQL, Oracle, MongoDB
- •опыт работы в Linux, с GitLab, Kafka и REST API
Будет плюсом
- •знание Data Vault 2.0
- •оптимизация сложных SQL-запросов
- •опыт с Data Lake / DWH
- •репликация и шардинг данных
- •знакомство с Квант‑Гибрид
