СберTech Lead Data engineer
Москва
Команда строит единое хранилище данных B2C и платформу потоковой обработки. Роль — разработка и оптимизация ETL/ELT и стриминговых пайплайнов, улучшение производительности Spark и внедрение практик для Apache Iceberg и Kafka, чтобы обеспечить надежные данные для бизнеса
ГрейдLead
Стек
JavaApache SparkApache IcebergKafkaApache FlinkHadoopGreenplumParquetORCAvroJenkinsOozieGluten/VeloxPythonSQLDocker
Задачи
- •разработка и оптимизация витрин данных и ETL/ELT процессов
- •проектирование и поддержка стриминговых пайплайнов Kafka→Iceberg и Kafka→Kafka
- •построение архитектуры Data Lakehouse и Data Streamhouse, внедрение best practices для Apache Iceberg
- •оптимизация производительности Spark-приложений, в том числе с использованием Gluten/Velox
- •реализация механизмов инкрементальной загрузки и проверок качества данных
- •внедрение решений в продуктовую среду и настройка CI/CD пайплайнов
Обязательно
- •владение SQL
- •опыт разработки на Java или Scala
- •практический опыт работы с Apache Hadoop (HDFS, YARN)
- •опыт разработки пайплайнов на Apache Spark (Core, SQL, Structured Streaming)
- •опыт работы с Apache Kafka и фреймворком стриминговой обработки (Flink или Spark Streaming)
- •знание форматов хранения (Parquet, ORC, Avro) и Apache Iceberg
Будет плюсом
- •опыт внедрения промышленных пакетных пайплайнов
- •опыт внедрения промышленных стриминговых пайплайнов
- •опыт работы с Gluten/Velox или аналогичными векторизованными движками
- •навыки сборки и развертывания Docker-образов
