AXAxlebolt
Middle Data Engineer
офис, удалёнка, гибрид
Команда Data Engineering строит и поддерживает инфраструктуру для сбора, обработки и доставки игровых и продуктовых метрик аналитикам и продуктовым командам, чтобы ускорить принятие решений и повысить качество игр
ГрейдMiddle
Стек
PythonApache AirflowPostgreSQLApache KafkaApache FlinkdbtGreat ExpectationsApache TrinoHiveMongoDBDockerAWSApache SparkKubernetesCI/CDHelmTerraformScalaJava
Задачи
- •Разрабатывать и поддерживать DAG’и в Apache Airflow
- •Настраивать CDC-процессы для передачи продакшн-данных в аналитическое хранилище
- •Разрабатывать и оптимизировать витрины данных и SQL-запросы для аналитики
- •Разрабатывать трансформации данных на базе Apache Flink
- •Поддерживать и улучшать качество данных с помощью инструментов Data Quality
Обязательно
- •Уверенные знания Python и Java
- •Глубокое владение SQL
- •Опыт работы с Apache Kafka, Apache Airflow и Apache Flink
- •Опыт разработки витрин данных и трансформаций (dbt, Trino/Presto, Hive)
- •Опыт работы с PostgreSQL и MongoDB
- •Опыт работы с AWS и контейнеризацией (Docker)
Будет плюсом
- •Опыт с Apache Spark
- •Знание и опыт работы с Kubernetes
- •Опыт в CI/CD, Helm и Terraform
- •Навыки программирования на Scala
