Правительство МосквыData Engineer
Москва
Команда Департамента информационных технологий Москвы разрабатывает ETL/ELT‑пайплайны и хранилища данных для сервисов города. Роль важна для стабильного предоставления цифровых услуг и аналитики, которые повышают качество жизни горожан
ГрейдJunior/Middle
Опытот 2 лет
Стек
PythonAirflowPostgreSQLKafkaSparkDBTClickHouseGreenplumOracleMongoDBLinuxGitLabFastAPIFlaskREST API
Задачи
- •проектировать и разрабатывать ETL/ELT‑пайплайны
- •оптимизировать и сопровождать существующие процессы обработки данных
- •анализировать и декомпозировать задачи, писать тестируемый код и рефакторить
- •взаимодействовать со смежными командами, участвовать в планировании и оценке задач
- •менторить, проводить онбординг новых сотрудников и код‑ревью
- •вести техническую документацию и отчётность
Обязательно
- •опыт работы Data Engineer от 2 лет
- •уверенный Python
- •эффективный SQL и глубокие знания SQL
- •опыт работы с Airflow и Spark
- •знание как минимум двух СУБД (например ClickHouse, Greenplum/PostgreSQL, Oracle, MongoDB)
- •опыт работы в Linux и с GitLab
- •знание Kafka и работы с REST API (FastAPI/Flask)
Будет плюсом
- •Data Vault 2.0
- •оптимизация запросов
- •Data Lake / DWH
- •репликация/шардинг
- •знакомство с Квант‑Гибрид
