Wildberries & RussData Lakehouse Engineer в Корпоративное хранилище
Команда развивает и переводит корпоративное хранилище на Data Lakehouse. Вы будете проектировать платформу, строить ETL/ELT пайплайны и обеспечивать наблюдаемость и эксплуатацию, чтобы ускорить аналитику и внутренние продуктовые процессы
ГрейдSenior
Стек
SparkdbtS3ArgoCDTrinoApache IcebergParquetAirflowPrometheusVictoriaMetricsGrafanaHelmGitOps
Задачи
- •Проектирование и развитие Data Lakehouse платформы
- •Разработка ETL/ELT пайплайнов на Spark, dbt и Trino
- •Организация хранения и обработки данных в S3 с использованием форматов Iceberg/Parquet
- •Построение наблюдаемости: метрики, дашборды и алертинг на Prometheus/VictoriaMetrics/Grafana
- •Управление инфраструктурой через GitOps с использованием ArgoCD и Helm
- •Взаимодействие с продуктовой командой и развитие DLH как внутреннего продукта
Обязательно
- •Практический опыт построения Data Lakehouse или крупных Data Platform решений
- •Опыт проектирования DLH с нуля
- •Глубокое понимание архитектуры Spark (execution model, partitioning, memory management, shuffle, оптимизация)
- •Знание форматов данных и таблиц в Data Lake (Iceberg, Parquet и аналогичные)
- •Опыт работы с Trino и распределёнными запросами
- •Опыт работы с Airflow и построения сложных data workflows
- •Опыт работы с объектным хранилищем S3
