СберData Engineer (команда B2C-SQL)
Москва
Команда развивает фреймворк для построения batch и streaming витрин данных и платформенные модули (оркестрация, метаданные, Data Quality). Роль важна для ускорения интеграции данных и повышения качества витрин для внутренних потребителей
ГрейдJunior/Middle
Опыт2–3 года
Стек
ScalaApache SparkData LakeGitSQLBashKafkaFlinkIcebergHDFSYARNHiveClickHouseKubernetesS3PythonREST API
Задачи
- •разрабатывать и дорабатывать компоненты фреймворка для batch- и streaming-витрин
- •реализовывать модули платформы (оркестрация, метаданные, Data Quality) на Scala/Java
- •реализовывать и поддерживать API, включая RESTful, для упрощения работы с данными
- •оптимизировать производительность Spark-приложений на больших объёмах данных
- •покрывать код тестами и участвовать в code review
- •взаимодействовать с пользователями платформы: разбирать обращения и помогать с интеграцией
Обязательно
- •высшее образование
- •коммерческий опыт в data engineering 2–3 года
- •уверенное знание Scala или Java
- •уверенное знание SQL
- •практический опыт разработки на Apache Spark
- •понимание DWH/Data Lake и ETL/ELT-процессов
- •умение писать unit- и integration-тесты, знание Git
Будет плюсом
- •опыт с Kafka, Flink, Iceberg или аналогами
- •опыт с Hadoop-экосистемой (HDFS, YARN, Hive)
- •опыт с ClickHouse, Kubernetes, S3
- •знание Python
- •навыки работы с генеративными AI-моделями
