IT-oneСтарший инженер данных
удалёнка
Работа в команде корпоративной платформы данных банка: проектирование, разработка и оптимизация ETL/ELT, Spark-пайплайнов и DWH-моделей для обеспечения качества данных и SLA бизнес‑витрин и отчетности
ГрейдSenior
Опыт3–6 лет
Стек
PythonApache SparkGreenplumAirflowKafkaGitGitLabPower BIData Vault 2.0OpenMetadataLiquibaseDBeaver
Задачи
- •Проектировать и сопровождать ETL/ELT‑пайплайны и DWH‑витрины
- •Разрабатывать архитектуру данных и модели (Data Vault 2.0, звезда/снежинка)
- •Оптимизировать производительность Spark‑задач и Greenplum‑запросов
- •Внедрять контроль качества данных, мониторинг и автоматическое восстановление процессов
- •Руководить технически командой: ревью, стандарты, фреймворки, наставничество
Обязательно
- •Опыт построения и развития промышленных DWH и ETL/ELT не менее 5 лет
- •Глубокое владение Greenplum или другой MPP‑СУБД и оптимизация под большие объёмы
- •Глубокое владение Apache Spark и оптимизация производительности
- •Опыт проектирования сложных ETL/ELT‑пайплайнов в Airflow или аналогах
- •Умение разрабатывать переиспользуемые фреймворки на Python и Java
- •Опыт миграций между DWH‑платформами (например Oracle → Greenplum)
- •Знание Git и CI/CD процессов
Будет плюсом
- •Опыт работы с OpenMetadata или каталогами данных
- •Настройка мониторинга и алертинга для ETL‑пайплайнов
- •Опыт интеграции с Kafka
- •Понимание и согласование SLA/SLO с бизнесом
- •Опыт миграций между DWH‑платформами (дополнительно)
