IT-oneИнженер данных
удалёнка
Работа в команде поддержки промышленного хранилища данных банка: разработка и сопровождение ETL/ELT‑пайплайнов, обеспечение качества данных и бесперебойных загрузок для витрин и BI‑отчетности, снижение инцидентов и ускорение аналитики.
ГрейдMiddle/Senior
Опытот 3 лет
Стек
AirflowGreenplumApache SparkPythonPower BIOpenMetadataGitLiquibaseDBeaver
Задачи
- •Разрабатывать и сопровождать ETL/ELT‑пайплайны для критичных бизнес‑процессов
- •Оптимизировать загрузки: стабильность, время выполнения, идемпотентность и восстановление
- •Писать и оптимизировать сложный SQL для MPP‑СУБД и проектировать витрины
- •Реализовывать пакетную обработку в Spark и диагностировать проблемы производительности
- •Настраивать проверки качества данных, мониторинг загрузок и участие в расследовании инцидентов
- •Документировать потоки данных, правила трансформации и взаимодействовать с аналитиками и владельцами витрин
Обязательно
- •опыт работы в инженерии данных или ETL не менее 3 лет
- •глубокие знания Greenplum или других MPP‑СУБД (партиционирование, планы выполнения, оптимизация)
- •практический опыт Apache Spark (Spark SQL, DataFrame API)
- •опыт разработки и сопровождения в Airflow или аналогичном оркестраторе
- •уверенное владение SQL: сложные запросы, оптимизация, индексы, партиционирование
- •опыт в Python и/или Java для доработки пайплайнов и автоматизации
- •опыт работы с Git и участием в CI/CD
Будет плюсом
- •опыт работы с OpenMetadata или каталогами данных
- •опыт миграции между DWH‑платформами (например Oracle→Greenplum)
- •опыт настройки мониторинга и алертинга для ETL‑пайплайнов
- •понимание SLA по загрузкам и отчетности
