СберMiddle+ Data Engineer
офис, гибрид, Москва
Команда развивает масштабируемое DWH и потоковую доставку данных для аналитики и управленческой отчётности банка. Вы будете развивать архитектуру хранилища, обеспечивать NRT-поставки для AI-агентов и ускорять работу витрин данных, влияя на качество аналитики в подразделениях банка
ГрейдMiddle/Senior
Стек
PythonAirflowGreenplumKafkaPostgreSQLApache NiFiApache
Задачи
- •Проектирование и развитие архитектуры аналитического хранилища (30+ Тб)
- •Разработка и поддержка автоматизированных ETL/ELT процессов и NRT-потоков
- •Миграция DWH на целевую архитектуру
- •Сбор, обработка и парсинг «сырых» данных
- •Поддержка и оптимизация работы баз данных и витрин данных
- •Улучшение отказоустойчивости, мониторинга, алертинга и качества данных
Обязательно
- •Уверенные знания SQL (оконные функции, CTE)
- •Знание процедурного языка PostgreSQL/Greenplum (PL/pgSQL)
- •Опыт работы с Airflow
- •Опыт работы с PostgreSQL/Greenplum в роли Data Engineer
- •Знание концепций Data Warehousing
- •Опыт разработки витрин данных
Будет плюсом
- •Опыт работы с Apache NiFi
- •Опыт работы с Kafka
- •Практическое применение Data Vault
- •Навыки работы с генеративными AI-моделями
