СберData engineer (Авторешения)
Екатеринбург
Команда развивает BI-отчётность, автоматизацию регистрации инцидентов операционного риска и подготовку данных для ML-моделей. Вы будете строить ETL-пайплайны и витрины в DWH, чтобы повысить качество данных и ускорить принятие решений в бизнесе
ГрейдJunior/Middle
Опытот 1 года
Стек
PythonSparkPostgreSQLAirflowKafkaHadoopSupersetSQLJenkinsBitBucketCI/CDJiraConfluence
Задачи
- •Проектирование архитектуры и моделей витрин данных
- •Разработка и оптимизация ETL-процессов для загрузки и обработки данных в DWH
- •Реализация пайплайнов в Airflow и/или Spark/Hadoop
- •Создание мониторинга и проверок качества данных
- •Разработка автотестов и поддержание технической документации по потокам данных
Обязательно
- •Опыт разработки автоматизированных ETL-потоков (Airflow и/или Hadoop/Spark) от 1 года
- •Продвинутый уровень владения Python
- •Уверенное владение SQL
- •Понимание принципов работы баз данных и обработки больших данных
- •Опыт работы с CI/CD (BitBucket, Jenkins)
- •Знание Jira и Confluence для управления задачами и документацией
- •Английский язык — чтение технической документации
