СберData engineer (Рекламная платформа)
гибрид, Москва
Команда развития витрин данных в IT B2C строит облачные витрины и пайплайны для рекламной платформы. Вы будете проектировать архитектуру, разрабатывать ETL/stream-процессы и обеспечивать качество данных, чтобы поддерживать аналитические и продуктовые решения банка
ГрейдMiddle/Senior
Опытот 3 лет
Стек
PythonSparkPostgreSQLKafkaScalaJavaTrinoPolarsFlinkAirFlowS3HDFSCI/CD
Задачи
- •Разрабатывать и поддерживать витрины данных в облаке
- •Проектировать и улучшать архитектуру системы витрин
- •Разрабатывать и оптимизировать ETL/пайплайны на Python/Scala
- •Реализовывать и поддерживать стриминговые решения (Flink, Spark Streaming)
- •Внедрять контроль качества данных и инструменты мониторинга (SODA)
- •Помогать другим командам с интеграцией и использованием витрин
Обязательно
- •высшее образование
- •опыт работы в аналогичной роли от 3 лет
- •глубокое понимание распределённых вычислений и продвинутые навыки SQL
- •опыт промышленной разработки на Scala/Java/Python
- •опыт работы со Spark и обработкой больших данных
- •опыт со стримингом и Kafka (Flink/Spark Streaming)
- •опыт работы с реляционными СУБД и объектными хранилищами (S3, HDFS) и знание оркестраторов рабочих процессов (AirFlow/Oozie/Dagster/Argo) и CI/CD
Будет плюсом
- •опыт с Iceberg
- •знание DataHub/OpenMetaData
- •опыт с SODA/GreatExpectations
- •опыт с ClickHouse
- •знание Kubernetes
- •навыки работы с генеративными AI-моделями и AI-агентами
