МоскваETL разработчик
Москва
Команда ДИТ Москвы развивает платформу «Цифровое правосудие». Вы будете проектировать и поддерживать ETL‑пайплайны, метаданные и аналитическое хранилище для автоматизации судебного делопроизводства и обеспечения доступности данных для интеграций и BI‑отчетности
ГрейдMiddle/Senior
Стек
PythonApache AirflowPostgreSQLKafkaOpenMetadataOpenLineageDockerKubernetesSupersetNoSQL
Задачи
- •Проектировать и реализовывать ETL‑процессы для извлечения, трансформации и загрузки данных
- •Разрабатывать и поддерживать метаданные и каталогизацию с OpenMetadata, включая кастомизацию
- •Внедрять проверки качества данных, мониторинг и алертинг
- •Проектировать и создавать витрины данных и views в PostgreSQL
- •Создавать и поддерживать коннекторы к источникам данных и интеграции с Kafka/S3/OpenTelemetry
- •Оптимизировать производительность ETL‑процессов и документировать процессы
Обязательно
- •Опыт работы с PostgreSQL: схемы, views, оптимизация запросов
- •Опыт работы с Apache Airflow: создание DAG, оркестрация, XCom/Variables
- •Продвинутый SQL: сложные запросы, оконные функции, CTE, анализ планов
- •Продвинутый Python для разработки ETL и коннекторов
- •Опыт работы с Kafka и Kafka Connect
- •Опыт настройки и кастомизации OpenMetadata
- •Опыт контейнеризации и развёртывания (Docker, Kubernetes)
Будет плюсом
- •Опыт работы с NoSQL (MongoDB, Cassandra или аналогичные)
- •Знание OpenTelemetry для сбора телеметрии
- •Кастомизация и интеграция Superset
- •Опыт с Apache NiFi или другими ETL‑инструментами
