СберData engineer
офис, Москва
Команда CDO B2C развивает единый слой детальных данных и агрегатов для B2C-клиентов. Роль включает проектирование и развитие DWH/DataLake/LakeHouse, RealTime/NRT/Batch поставок и архитектуры данных для отчетности, моделей и фронтальных систем
ГрейдMiddle/Senior
Стек
PythonSparkIcebergKafkaHadoopS3AirflowCI/CDSQLData Vault
Задачи
- •разработка DWH/DataLake/LakeHouse
- •построение поставки данных в RealTime/NRT/Batch
- •оптимизация ETL и снижение latency доступа к данным
- •разработка и валидация архитектуры данных и агрегатов
- •проведение код‑ревью и внедрение новых технологий/стеков
- •повышение актуальности данных и обеспечение единой точки правды
Обязательно
- •опыт построения DWH/DataLake/LakeHouse
- •построение поставок данных в RealTime/NRT/Batch
- •глубокое знание SQL (CTE, оконные функции, join и др.)
- •опыт работы с Hadoop, Spark, Iceberg/Paimon и S3
- •опыт работы с Kafka и другими брокерами
- •опыт с оркестраторами (например, Airflow) и CI/CD
- •опыт оптимизации ETL, снижение latency и валидация архитектуры данных
Будет плюсом
- •практический опыт java/scala
- •опыт создания и защиты архитектуры данных и solution-архитектуры data-продуктов
- •навыки работы с генеративными AI‑моделями и созданием AI‑агентов
- •опыт использования GigaChat, Kandinsky и аналогов в продуктах
