АвиасейлсData Engineer
Команда инфраструктуры аналитики развивает и поддерживает LakeHouse-платформу, которая обеспечивает доставку, обработку и презентацию данных для всей компании. Роль фокусируется на поддержке работоспособности платформы, мониторинге пайплайнов и оптимизации процессов при больших объёмах данных
ГрейдJunior/Middle
Опыт1–3 года
Стек
PythonApache SparkAWS S3KafkaDelta LakeDBTTrinoAirflowAirbyteDataHubJenkinsTerraformKubernetes
Задачи
- •отслеживать запросы в командном чате и оперативно реагировать на задачи
- •мониторить платформу и вместе с дежурными решать инциденты
- •поддерживать и оптимизировать ETL/ELT пайплайны
- •модернизировать дата-платформу совместно с Core командой
Обязательно
- •опыт работы инженером данных от 1 года
- •знание Python и SQL
- •понимание принципов ETL/ELT процессов
- •понимание распределённых вычислений и их особенностей
- •самостоятельность и ответственность
- •умение коммуницировать с разными командами
Будет плюсом
- •опыт с Apache Spark, Apache Airflow, DBT, Trino
- •опыт работы с Kafka, Airbyte, DataHub
- •знание CI/CD (Jenkins), Terraform и деплой в Kubernetes/EKS
