Правительство МосквыData Engineer
Москва
Команда ДИТ Москвы развивает платформы управления городом; вы будете проектировать и поддерживать ETL/ELT‑пайплайны и аналитические сервисы, обеспечивая доступность данных для городских сервисов и принятия решений
ГрейдJunior/Middle
Опыт1–3 года
Стек
PythonAirflowPostgreSQLKafkaSparkDBTClickHouseGreenplumOracleMongoDBLinuxGitLabFastAPIFlaskREST API
Задачи
- •Проектирование и разработка ETL/ELT‑пайплайнов
- •Оптимизация и рефакторинг существующих процессов и запросов
- •Написание качественного кода с тестами и поддержка CI/CD
- •Взаимодействие со смежными командами, планирование и оценка задач
- •Менторство, онбординг и проведение код‑ревью
- •Ведение технической документации и отчетности
Обязательно
- •опыт работы Data Engineer от 2 лет
- •уверенный Python и эффективный SQL
- •опыт работы с Airflow, Spark и DBT
- •практический опыт минимум с двумя СУБД (ClickHouse, Greenplum/PostgreSQL, Oracle, MongoDB)
- •опыт работы с Linux, GitLab и Kafka
- •опыт разработки и интеграции с REST API (FastAPI/Flask)
Будет плюсом
- •знание Data Vault 2.0
- •опыт оптимизации запросов и производительности
- •опыт с Data Lake / DWH
- •опыт репликации, шардинга и знакомство с Квант‑Гибрид
