Wildberries & RussData Engineer в Локализацию
гибрид, Москва
Команда строит платформу данных для ML‑специалистов и продуктовой аналитики рекомендательных систем. Вы будете проектировать озёрные хранилища на Iceberg, настраивать DQ и метаданные, развивать feature store и семантический слой для единых метрик
ГрейдMiddle
Опыт1–3 года
Стек
PythonSparkIcebergKafkaGreenplumHadoop/HDFSTrinoAirflowClickHouseDBT
Задачи
- •Проектировать и реализовывать озёрное хранилище на Iceberg
- •Разворачивать и оптимизировать compute‑слой на Spark/Trino
- •Настраивать процессы качества данных (DQ): валидация, мониторинг, метрики
- •Автоматизировать сбор и сопровождение метаданных и data catalog
- •Проектировать и внедрять feature store для признаков
- •Создавать семантический слой для унификации бизнес‑логики и метрик
Обязательно
- •Уверенный Python в контексте Data Engineering (2+ года)
- •Глубокие знания SQL: оконные функции, оптимизация, explain‑планы
- •Опыт с оркестраторами данных (Airflow)
- •Опыт работы с Hadoop/Spark (YARN, HDFS)
- •Опыт с MPP‑системами (Greenplum, ClickHouse, Redshift и т.п.)
- •Опыт работы с Trino/Presto или аналогичными движками
Будет плюсом
- •Опыт работы с DBT
- •Опыт с DQ‑фреймворками (Great Expectations, Soda или собственные решения)
- •Опыт разработки и эксплуатации feature store
