СберSenior/lead Data engineer B2C ( RealTime)
офис, Москва
Команда отвечает за единый слой данных B2C и поставку данных для отчетности, моделей и фронтальных систем. Вы будете строить и поддерживать RealTime/NRT/Batch пайплайны и витрины в Hadoop, снижать latency и повышать актуальность данных
ГрейдSenior/Lead
Стек
PythonSparkHDFSKafkaIcebergHiveFlinkSpark StreamingOozieJenkinsBitBucketAirflowSQL
Задачи
- •разработка и поддержка витрин данных в Hadoop
- •построение поставки данных RealTime/NRT/Batch
- •разработка и валидация архитектуры данных
- •оптимизация ETL
- •снижение latency доступа к данным и повышение актуальности
- •проведение код-ревью других разработчиков
Обязательно
- •отличное знание SQL (join, CTE, оконные функции и др.)
- •опыт работы с Hadoop, Spark и Iceberg
- •опыт работы с Flink и Spark Streaming
- •опыт работы с Kafka и другими брокерами
- •опыт с оркестраторами (например, Airflow) и CI/CD
- •знание Oozie
- •практические навыки разработки ETL на Python
Будет плюсом
- •практическое знание Java или Scala
- •опыт работы с Paimon
- •опыт построения архитектуры данных (Data Vault, Inmon, Kimball)
- •опыт разработки solution-архитектуры data-продуктов и защиты архитектуры
