СберSenior Data Engineer
офис, гибрид, Москва
Команда Sber Process Mining разрабатывает систему интеллектуального анализа бизнес-процессов. Вы будете строить ETL/ELT пайплайны, модели данных и self-service инструменты для аналитики на базе Big Data, что помогает улучшать процессы и обнаруживать узкие места у клиентов
ГрейдSenior
Опытот 3 лет
Стек
PythonApache AirflowClickHousePostgreSQLSparkApache Superset
Задачи
- •разработка ядра системы анализа процессов
- •проектирование и разработка повторно используемых трансформаций и пайплайнов данных
- •создание self-service инструментов обработки данных для пользователей
- •проектирование и документирование модели данных
- •внедрение и оптимизация решений в Big Data стеке
Обязательно
- •опыт работы в качестве инженера данных от 3 лет
- •опыт работы с Airflow, NiFi или другими оркестраторами ETL
- •владение SQL на высоком уровне
- •уверенные знания Python
- •опыт с Big Data стеком, ClickHouse, Spark
- •знание теории построения хранилищ данных
- •знание основ ООП, алгоритмов и структур данных
Будет плюсом
- •знание Unix shell (работа с файлами и процессами)
- •опыт работы с брокерами сообщений
- •опыт работы с Docker и Kubernetes
