MarsИнженер данных
удалёнка, гибрид, Санкт-Петербург
Вход в центральную команду Data Management Pet Nutrition: вы будете строить и оптимизировать batch и streaming пайплайны, интегрировать источники в Data Lake и развивать практики качества данных — чтобы обеспечить надежные отчёты и аналитику по бизнесу
ГрейдMiddle/Senior
Стек
PythonSparkHDFSAirflowSQLHadoopYARN
Задачи
- •Разработка и оптимизация batch и streaming пайплайнов
- •Интеграция новых источников данных в Data Lake
- •Оптимизация Spark-приложений и их производительности
- •Участие в развитии фреймворка качества данных
- •Проведение код‑ревью и сопровождение дата‑продуктов
Обязательно
- •Опыт разработки пайплайнов в Airflow
- •Опыт оптимизации Spark‑приложений
- •Уверенное владение SQL
- •Опыт работы с Hadoop (Spark, HDFS, YARN)
- •Понимание СУБД и принципов построения хранилищ данных
- •Знание Python/Scala/Java
