Wildberries & RussData Engineer / Рекомендации
удалёнка
Команда «Рекомендации» строит платформу данных для ML-инженеров и продуктовых аналитиков, поддерживая ETL/ELT-пайплайны и интеграции источников. Роль важна для стабильной работы рекомендательных сервисов и миграции хранилищ под современные форматы данных
ГрейдMiddle/Senior
Стек
SparkGreenplumApache IcebergTrinoHadoop/HDFSAirflowKafkaClickHouse
Задачи
- •Поддержка и оптимизация пайплайнов на Greenplum
- •Сопровождение ETL/ELT: мониторинг, диагностика деградаций, партиционирование
- •Интеграция новых источников данных и проектирование схем интеграции
- •Взаимодействие с владельцами источников и оформление технических требований
- •Участие в миграции слоёв под Apache Iceberg и оценка компромиссов MPP vs object storage
Обязательно
- •Опыт работы с Airflow как оркестратором
- •Опыт работы с Hadoop (Spark/Yarn/HDFS)
- •Опыт работы с Greenplum или другими MPP-системами
- •Опыт работы с Trino как query engine
Будет плюсом
- •Опыт работы с Apache Iceberg
- •Опыт работы с Kafka
- •Опыт работы с ClickHouse
