СберData Engineer
Москва
Команда развивает ETL/ELT-пайплайны и DWH для аналитики продукта. Вы будете проектировать и реализовывать масштабируемые процессы обработки данных, обеспечивать оркестрацию, мониторинг и аналитическую поддержку решений
ГрейдMiddle/Senior
Опытот 4 лет
Стек
ScalaApache SparkHDFSAirflowHive MetastoreParquetORCYARNSQLGitPythonPySpark
Задачи
- •Проектирование и реализация ETL/ELT процессов по спецификациям
- •Разработка на Spark для обработки больших объёмов данных
- •Оркестрация и мониторинг пайплайнов (Airflow/аналоги)
- •Аналитическая поддержка и взаимодействие со стейкхолдерами
- •Поддержка и ведение документации и код-ревью
Обязательно
- •Опыт работы от 4 лет в Data Engineer / DWH / аналитике данных
- •Продвинутый SQL: оконные функции, CTE, EXPLAIN и оптимизация
- •Промышленная разработка на Apache Spark на Scala
- •Опыт с экосистемой Big Data: HDFS, Hive Metastore, Parquet/ORC, YARN
- •Практический опыт с оркестраторами (Airflow, Luigi или аналоги)
- •Владение Git: ветвление (GitFlow), код-ревью, разрешение конфликтов
Будет плюсом
- •Проектирование витрин под продуктовые метрики
- •Python (Pandas, PySpark) для скриптов и анализа
- •Начальные знания и интерес к ML и Data Analysis
