LoodsenData Engineer
офис, удалёнка, гибрид
Команда Platform Data развивает «Платформу данных»: вы будете реализовывать и интегрировать ETL/CDC-пайплайны и источники данных для обеспечения аналитики и BI-продуктов компании
Стек
PythonPySparkБазы данныхKafkaAirflowGitDebeziumdbtsqlmeshPixBIPower BISupersetdagster
Задачи
- •Разработка и конфигурирование новых пайплайнов данных
- •Интеграция источников данных и настройка CDC (включая Debezium)
- •Поддержка и оптимизация PySpark-обработок
- •Оркестрация задач в Airflow и управление зависимостями
- •Обеспечение доставки данных для BI-инструментов и аналитики
Обязательно
- •Опыт работы с Airflow
- •Опыт работы с Kafka
- •Опыт работы с PySpark
- •Опыт работы с базами данных
- •Знание Git
Будет плюсом
- •Debezium
- •BI-инструменты: PixBI / Power BI / Superset
- •dbt / sqlmesh
- •dagster
