СберДата инженер (Кредитные продукты и процессы)
Москва
Команда в IT департаменте КИБ развивает аналитические витрины и процессы оценки жизненного цикла клиента и его финансового состояния. Вы будете проектировать и поддерживать ETL/ELT‑пайплайны и интеграции на Hadoop/Spark для бизнес‑отчётности и моделей DS
ГрейдJunior/Middle
Опытот 2 лет
Стек
ScalaApache SparkHadoopGitSQLParquetbashCI/CD
Задачи
- •Согласование требований с PO и аналитиками
- •Проектирование и разработка аналитических витрин данных
- •Конфигурирование сборки и деплой витрин и интеграций (API, ТФС)
- •Определение очередности расчётов и спецификаций
- •Проведение unit, интеграционного и регрессионного тестирования
- •Мониторинг и оптимизация витрин в взаимодействии с сопровождением кластера
Обязательно
- •опыт работы дата-инженером от 2 лет
- •опыт работы с Hadoop и Apache Spark (Scala)
- •отличные знания SQL (JOIN, агрегаты, оконные функции)
- •знание алгоритмов, структур данных и парадигмы ООП
- •знание форматов данных: csv, json, yaml, parquet
- •понимание процессов ETL/ELT и принципов OLTP/OLAP/ACID
Будет плюсом
- •опыт настройки CI/CD
- •знание bash и работы с нодами кластера
- •понимание монолитных и распределённых систем
- •опыт с генеративными AI‑моделями
