СберИнженер данных (Hadoop)
Москва
Команда развития клиентского опыта B2C ищет инженера данных для разработки и поддержки витрин на базе Hadoop и подготовки датасетов для моделей. Роль важна для качества аналитики и обеспечения данных для продуктов и ML-решений.
Стек
SparkHadoopHiveKafkaSQLJavaScalaPythonHDFSYARNGitDockerJenkinsGitLab CI
Задачи
- •Проектирование и разработка витрин данных на Hadoop
- •Разработка и сопровождение ETL-процессов для загрузки витрин
- •Поддержка, мониторинг и разбор инцидентов качества данных
- •Подготовка датасетов для обучения в FeatureStore B2C
- •Взаимодействие с командами разработки и аналитиками по сбору и хранению данных
- •Документирование решений и автоматизация тестов Data Quality
Обязательно
- •Опыт разработки витрин данных и построения ETL-процессов
- •Уверенное владение SQL (аналитические функции, оптимизация, подзапросы, хранимые процедуры)
- •Опыт работы с Hadoop (HDFS, YARN, Hive) и Spark
- •Знание Java или Scala и опыт разработки на них
- •Опыт разработки на Python
- •Понимание распределённых систем хранения и обработки данных
- •Опыт работы с системами контроля версий (Git)
Будет плюсом
- •Навыки работы с генеративными AI-моделями и создание AI-агентов
- •Опыт работы с Kafka
- •Опыт с CI/CD (Jenkins, GitLab CI)
- •Знание Docker и контейнеризации
- •Умение работать в Unix (bash)
