СберSenior DWH разработчик
офис, удалёнка, гибрид, Москва
Команда данных Казначейства Сбера развивает распределённое хранилище (DWH/Data Lake/LakeHouse) для поддержки ключевых банковских процессов; вы будете проектировать и внедрять высоконагруженные ETL‑решения, сервисы доступа к данным и повышать зрелость DataOps/MLOps процессов
ГрейдSenior
Опыт5+ лет
Стек
PythonApache SparkHiveHadoopHDFSYARNApache NiFiPostgreSQLApache AirflowKubernetesOpenShiftSQLPySparkIPC
Задачи
- •проектирование и реализация высоконагруженных распределённых решений
- •участие в архитектурных сессиях и проработка дизайна смежных систем
- •поддержка и развитие архитектуры DWH, Data Lake и LakeHouse
- •проектирование и реализация сервисов доступа к данным и администрирования хранилища
- •формирование требований и контроль реализации CI/CD, DataOps и MLOps
- •проведение code review и обеспечение стандартов кодирования
Обязательно
- •опыт работы с Hadoop (HDFS, YARN, Hive) и Apache Spark
- •опыт разработки распределённых ETL‑решений и DWH
- •уверенные знания Python и опыт с PySpark
- •отличные знания SQL (Advanced) и опыт в аналитике данных
- •опыт работы с ETL‑инструментами (IPC или Apache NiFi)
- •понимание DDD, SOLID и паттернов проектирования
- •опыт работы с K8s и OpenShift
Будет плюсом
- •опыт работы с PostgreSQL
- •опыт работы с Apache Airflow
- •опыт применения AI/ML инструментов для повышения эффективности разработки
