СберData engineer (Штаб СХ)
офис, Москва
Команда CORE-аналитики штаба CX формирует слой данных для работы с характеристиками и действиями клиентов. Вы будете проектировать DWH, строить ETL/ELT пайплайны и автоматизацию поставки данных в BI, чтобы обеспечить качество метрик и инсайты для бизнеса
ГрейдMiddle
Опыт1–3 года
Стек
PythonAirflowGreenplumSparkClickHouseHiveHDFSSQLGitpandasnumpy
Задачи
- •проектирование архитектуры DWH и моделей данных для аналитики
- •разработка и оптимизация ETL/ELT пайплайнов и Airflow DAG
- •автоматизация загрузки, трансформаций и очистки данных
- •внедрение и поддержка DQ-проверок и мониторинга качества данных
- •сопровождение витрин, масштабирование решений и документирование
- •анализ метрик, поиск инсайтов и взаимодействие с BI-командой
Обязательно
- •опыт построения ETL/ELT от 2 лет
- •продвинутый SQL и оптимизация запросов на больших объёмах
- •опыт работы с Airflow или аналогами
- •уверенный Python (pandas, numpy, ООП)
- •опыт с OLAP-хранилищами и Hadoop-экосистемой (Greenplum, ClickHouse, Spark, Hive, HDFS)
- •понимание концепций DWH (витрины, измерения, факты)
- •владение Git
Будет плюсом
- •опыт в банковской сфере или Big Data-окружении
- •знание Linux и bash
- •опыт в машинном обучении (feature engineering, базовые модели)
- •знание Git workflows и концепций CI/CD
- •опыт создания собственных фреймворков или библиотек для обработки данных
