Data engineer (hadoop + java)
офис, Москва
Команда IT B2C развивает аналитические витрины и кластер отчетности для розничных сберегательных продуктов. Вы будете проектировать и развивать ETL/аналитические пайплайны на Hadoop/Spark, обеспечивать качество данных и поддержку отчетности для бизнеса
ГрейдMiddle
Стек
JavaSparkHadoopJenkinsPySparkSQLOozieBash
Задачи
- •Проектирование и разработка аналитических витрин данных
- •Мониторинг и оптимизация процессов сборки витрин
- •Контроль качества и валидация загружаемых данных
- •Участие в разборе инцидентов и поддержке пайплайнов
- •Разработка алгоритмов построения отчетности и развитие кластера отчетности
Обязательно
- •Опыт работы в роли Data Engineer / Data Analyst / ETL Developer
- •Продвинутый уровень SQL (аналитические функции, оптимизация)
- •Опыт работы со Spark / PySpark
- •Знание Java
- •Навыки работы с генеративными AI-моделями
- •Инструментальное владение AI для анализа, генерации и автоматизации
Будет плюсом
- •Опыт работы с Hadoop
- •Опыт с Jenkins и bash
- •Понимание Oozie