СберData Engineer
Москва
Команда развития Платформы CDO B2C строит платформу данных для надёжного обмена информацией между Сбером и партнёрами. Вы будете разрабатывать ETL/ELT-пайплайны и системы обработки больших данных, обеспечивая данные для персонализации и бизнес-аналитики
ГрейдMiddle
Стек
PythonApache SparkPostgreSQLApache AirflowApache FlinkHadoopMySQLHDFSHiveAWS S3GCP BigQueryAzure Data FactoryAnsibleTerraformKafkaDebeziumLinuxScala
Задачи
- •Проектировать и реализовывать ETL/ELT-пайплайны (включая DAG в Airflow)
- •Оптимизировать и сопровождать процессы обработки больших данных (Spark, Flink)
- •Интегрировать базы данных, API и файловые хранилища в единую pipeline-архитектуру
- •Настраивать и администрировать Airflow для оркестрации workflows
- •Участвовать в проектировании архитектуры хранения и обработки данных (Hadoop-экосистема)
- •Документировать решения и формировать базы знаний
Обязательно
- •Высшее образование
- •Опыт разработки ETL/ELT-процессов (реализация, оптимизация, мониторинг)
- •Профильное владение Python и библиотеками для работы с данными
- •Практический опыт с распределёнными вычислениями: Apache Spark или Apache Flink
- •Глубокое понимание SQL и опыт работы с РСУБД (PostgreSQL, MySQL и др.)
- •Знание Apache Airflow (создание DAG, сенсоры, операторы)
- •Навыки администрирования Linux (развёртывание, мониторинг, troubleshooting)
Будет плюсом
- •Базовые знания Scala или готовность к изучению
- •Опыт с Hadoop (HDFS, YARN, Hive)
- •Знание облачных платформ (AWS S3/Glue, GCP BigQuery, Azure Data Factory)
- •Навыки автоматизации (Ansible, Terraform)
- •Опыт работы со стриминговыми данными (Kafka, Debezium)
