СберData engineer B2C
офис, Москва
Команда CDO B2C развивает единый слой детальных данных и агрегатов для B2C‑клиентов. Вы будете строить DWH/LakeHouse, RealTime/NRT/Batch‑пайплайны и обеспечивать единый источник правды для отчётности, моделей и фронтендов
ГрейдMiddle/Senior
Стек
PythonSparkIcebergKafkaHadoopS3AirflowCI/CDSQLJavaScala
Задачи
- •Проектирование и развитие DWH/DataLake/LakeHouse
- •Построение поставки данных в RealTime/NRT/Batch
- •Оптимизация и ускорение ETL‑процессов
- •Повышение актуальности данных и снижение latency доступа
- •Проведение код‑ревью и поддержка качества кода
- •Разработка и валидация архитектуры данных
Обязательно
- •Отличное знание SQL (join, CTE, оконные функции и др.)
- •Опыт работы с Hadoop и Spark
- •Опыт работы с Iceberg и S3 или аналогичными хранилищами
- •Опыт работы с Kafka и другими брокерами
- •Опыт с оркестраторами (например, Airflow) и CI/CD
- •Практическое знание Python для разработки ETL
- •Опыт построения архитектуры данных (Data Vault, Inmon, Kimball и др.)
Будет плюсом
- •Практический опыт Java или Scala
- •Опыт создания и защиты архитектуры данных
- •Опыт разработки solution‑архитектуры data‑продуктов
