СберДата инженер (Кредитные продукты и процессы)
офис, Москва
Команда дата‑инженеров в департаменте КИБ развивает аналитические витрины для оценки жизненного цикла и финансового состояния корпоративных клиентов. Вы будете проектировать ETL/ELT, разворачивать и оптимизировать витрины на Hadoop/Spark для аналитики и моделей принятия решений.
ГрейдMiddle
Опытот 2 лет
Стек
ScalaApache SparkHadoopParquetSQL
Задачи
- •Проектирование и разработка аналитических витрин данных
- •Реализация ETL/ELT пайплайнов на Spark
- •Согласование требований с PO и аналитиками
- •Конфигурирование сборки и поставки витрин и интеграций (API, ТФС)
- •Определение очередности расчетов и поддержка спецификаций
- •Мониторинг и оптимизация витрин с взаимодействием с сопровождением Hadoop кластера и Core‑сервисами
Обязательно
- •опыт работы дата‑инженером от 2 лет
- •опыт работы с Hadoop и Apache Spark (Scala)
- •отличные знания SQL (JOINы, агрегаты, оконные функции и т.д.)
- •понимание и опыт с ETL/ELT процессов
- •знание форматов данных: csv, json, yaml, parquet
- •знание OLTP, OLAP, ACID и теоремы CAP
Будет плюсом
- •опыт с CI/CD
- •знание bash и работы с нодами кластера
- •понимание монолитных и распределённых систем
- •опыт работы с генеративными AI‑моделями
