Wildberries & RussData Engineer в Корпоративное хранилище
удалёнка
Команда Data Platform ищет инженера для поддержки корпоративного хранилища: управление таблицами в формате Apache Iceberg, интеграция с S3 и Hive Metastore, обеспечение доступа и жизненного цикла данных для аналитики и сервисов компании
Стек
PythonSparkApache IcebergHive MetastoreS3RangerLinuxBash
Задачи
- •Администрирование и эксплуатация таблиц Apache Iceberg
- •Интеграция Iceberg с S3 и настройка использования Hive Metastore
- •Реализация compaction, expiration snapshots, time travel и schema evolution
- •Автоматизация процессов на Linux с использованием Bash и Python
- •Управление политиками и внедрение централизованной ролевой модели доступа через Ranger
Обязательно
- •Понимание взаимодействия Spark с Iceberg и S3
- •Опыт эксплуатации Apache Iceberg и работы с Hive Metastore
- •Знание compaction, expiration snapshots, time travel, schema evolution
- •Навыки Linux, Bash и Python для автоматизации
- •Опыт управления политиками доступа через Ranger и внедрения ролевой модели
Будет плюсом
- •Базовые навыки IaC (Terraform/Ansible)
- •Опыт администрирования Greenplum или ClickHouse
- •Настройка маскирования данных и Row-Level Filtering в Ranger для Trino/Spark
- •Опыт оркестрации задач (Airflow)
- •Опыт администрирования Superset
