АльфаSenior ETL developer
офис, удалёнка, гибрид, Москва
Команда Единого Интеграционного Слоя данных — разработка и поддержка ETL/интеграционных потоков для передачи данных IT‑систем в BI. Вы будете проектировать шаблоны ETL, реализовывать потоковые и пакетные решения на Big Data стеке и обеспечивать стабильность интеграций
ГрейдSenior
Опыт6+ лет
Стек
PythonPySparkApache IcebergKafkaDebeziumFlinkAirflowHive MetastoreMinIOKubernetesDockerGreenplumRabbitMQREST APIGitCI/CD
Задачи
- •Разработка шаблонов и модулей для типовых ETL‑процессов
- •Проектирование, реализация и тестирование интеграционных потоков данных (batch и stream)
- •Внедрение корпоративных стандартов разработки и шаблонов потоков
- •Проведение код‑ревью и обеспечение качества и поддерживаемости кода
- •Ведение и оформление технической документации
- •Консультации команды сопровождения по дефектам и стабилизации продакта; онбординг новых специалистов
Обязательно
- •Опыт разработки ПО не менее 6 лет
- •Опыт промышленной разработки в стеке BigData не менее 3 лет
- •Отличное владение Python
- •Опыт разработки на Apache Spark / PySpark
- •Уверенное знание SQL и опыт оптимизации запросов
- •Знание и опыт работы с Kafka / Debezium или другими CDC‑инструментами
- •Опыт работы с контейнерами и оркестрацией (Docker, Kubernetes) и ведение документации/проведение код‑ревью
Будет плюсом
- •Опыт реализации CDC потоков (Debezium‑Kafka) для реляционных и NoSQL баз
- •Знание Greenplum или других MPP СУБД
- •Опыт с Flink, Airflow, Apache Iceberg и Hive Metastore
- •Знание дополнительных языков программирования на базовом уровне
