СберData Engineer
Москва
Команда развивает корпоративную BI-платформу и продукт Digital trace — систему аналитики цифровых следов сотрудников. Вы будете проектировать отказоустойчивые ETL/ELT-пайплайны и поддерживать хранилища данных для принятия управленческих решений
ГрейдSenior
Опыт3–6 лет
Стек
Apache NiFiApache AirflowPostgreSQLClickHouseSparkKafkaOzoneNavigator BIQlik Sense
Задачи
- •проектирование потоковых и пакетных ETL/ELT-пайплайнов
- •поддержка и оптимизация производительности хранилищ данных и BI-подсистем
- •настройка мониторинга, алертинга и логирования, решение инцидентов поставки данных
- •внедрение практик обеспечения высокой доступности и отказоустойчивости
- •организация процессов разработки: спринты, планирование, код-ревью, метрики команды
- •коммуникация со стейкхолдерами (аналитики, продакты, безопасность), согласование SLA
Обязательно
- •опыт промышленной разработки в BI-системах (Qlik Sense, Tableau, Power BI, Superset) от 5 лет
- •опыт промышленного использования Apache NiFi и Apache Airflow
- •продвинутый SQL (оконные функции, сложные JOIN, оптимизация)
- •опыт работы с реляционными и колоночными СУБД
- •опыт проектирования отказоустойчивых пайплайнов и обеспечения высокой доступности
- •опыт организации процессов разработки (SDLC) и показатели качества кода
- •понимание жизненного цикла данных и опыт работы в рамках Data Governance
Будет плюсом
- •понимание основ Git и CI/CD
- •опыт разработки на одном из современных языков для обработки данных от 4 лет
- •понимание принципов работы брокеров сообщений (RabbitMQ, Kafka)
- •опыт работы с Docker и Kubernetes
- •опыт настройки мониторинга на базе Prometheus + Grafana
- •опыт внедрения и эксплуатации процессов Data Governance
- •опыт работы с LLM и AI-агентами
- •опыт работы с картами компетенций в подразделении
