СберData engineer
Москва
Команда развивает масштабную Data Lakehouse на Hadoop для свода и обработки данных сотен источников. Вы будете развивать ETL/стриминг-пайплайны и витрины данных, снижать latency и повышать качество данных для аналитики и бизнес‑решений.
Стек
SparkIcebergKafkaHDFSHiveOozieJenkinsBitBucketAirflowSQL
Задачи
- •Разработка и поддержка витрин в Data Lakehouse (HDFS, Iceberg, Hive)
- •Проектирование и реализация ETL/CTL пайплайнов (batch, NRT, real-time)
- •Реализация и оптимизация Spark‑задач для обработки больших объёмов данных
- •Интеграция и поддержка стриминговых решений на Kafka
- •Оркестрация задач через Oozie/Airflow и настройка CI/CD
Обязательно
- •отличное знание SQL (join, CTE, оконные функции и др.)
- •опыт работы с Hadoop (HDFS, Hive) и Lakehouse (Iceberg)
- •опыт разработки на Spark для ETL
- •опыт работы с Kafka или другими брокерами
- •опыт работы с оркестраторами (например Airflow) и CI/CD
- •опыт построения архитектуры данных (Data Vault, Kimball и др.)
- •опыт оптимизации ETL и уменьшения latency
Будет плюсом
- •практические навыки разработки ETL на Python
- •опыт разработки на Java или Scala
- •опыт создания и защиты архитектуры данных
- •опыт разработки solution‑архитектуры data‑продуктов
