Правительство МосквыData инженер
Москва
Команда IT Департамента работает над платформой обработки данных для цифровых сервисов Москвы. Вы будете проектировать и развивать ETL/ELT‑пайплайны, обеспечивать качество данных и производительность хранилищ, чтобы сервисы города работали стабильно и быстро для миллионов пользователей
ГрейдJunior/Middle
Опытот 2 лет
Стек
PythonSparkPostgreSQLKafkaAirflowDBTClickHouseGreenplumOracleMongoDBLinuxGitLabFastAPIFlaskREST API
Задачи
- •Проектирование и разработка ETL/ELT‑пайплайнов
- •Оптимизация производительности запросов и процессов обработки данных
- •Написание качественного кода с тестами и рефакторинг
- •Взаимодействие со смежными командами, планирование и оценка задач
- •Менторство, онбординг и проведение код‑ревью
- •Ведение технической документации и отчётности
Обязательно
- •опыт работы Data Engineer от 2 лет
- •уверенный Python
- •эффективный SQL
- •опыт с Airflow
- •опыт с Spark
- •знание как минимум двух СУБД (ClickHouse, PostgreSQL, Oracle, MongoDB)
- •опыт работы в Linux, GitLab, Kafka и с REST API
Будет плюсом
- •знание Data Vault 2.0
- •опыт оптимизации запросов
- •опыт работы с Data Lake / DWH
- •опыт репликации/шардинга
- •знакомство с Квант‑Гибрид
