Правительство МосквыETL разработчик
Москва
Команда цифрового правосудия ищет ETL-разработчика для создания и поддержки процессов извлечения, трансформации и загрузки данных, метаданных и витрин в единой платформе судов Москвы. Работа влияет на автоматизацию судопроизводства и доступность сервисов для жителей города
ГрейдMiddle/Senior
Стек
PythonApache AirflowPostgreSQLKafkaOpenMetadataSupersetDockerKubernetesS3OpenTelemetryOpenLineageMongoDB
Задачи
- •Проектировать и реализовывать ETL‑процессы из разнородных источников
- •Разрабатывать и поддерживать метаданные в OpenMetadata и кастомизировать систему
- •Внедрять валидацию, мониторинг и алертинг качества данных и метаданных
- •Обеспечивать отслеживание происхождения данных по стандартам OpenLineage
- •Проектировать витрины и представления в PostgreSQL
- •Интегрировать и кастомизировать BI (Superset) с хранилищем
Обязательно
- •Продвинутый Python
- •Опыт работы с Apache Airflow (создание DAG, XCom, Variables)
- •Глубокие знания PostgreSQL (схемы, views, оптимизация, оконные функции, CTE)
- •Продвинутый SQL и оптимизация запросов
- •Понимание и опыт работы с Kafka и Kafka Connect
- •Опыт настройки и кастомизации OpenMetadata
- •Контейнеризация и развёртывание (Docker, Kubernetes)
Будет плюсом
- •Опыт работы с OpenTelemetry и трассировкой данных
- •Знание и применение стандартов OpenLineage
- •Интеграция и кастомизация Superset
- •Опыт работы с S3 и объектным хранением
