СберLead data engineer
Москва
Команда Базовых витрин B2C поддерживает платформу подготовки и выдачи интегрированных аналитических данных для внутренних потребителей, аналитики и ML. Роль предполагает проектирование, разработку и оптимизацию надежных пайплайнов и витрин на больших объёмах данных.
ГрейдLead
Опытот 3 лет
Стек
JavaSparkPostgreSQLHadoopScalaGreenplumHiveHDFSHBaseYARNSQLJenkinsGitLabGitLinuxGigaChatKandinsky
Задачи
- •загрузка, очистка и трансформация больших объёмов данных из разных источников
- •проектирование и разработка аналитических витрин данных
- •мониторинг и оптимизация процессов загрузки и трансформации, устранение проблем производительности
- •разработка инструментов и сервисов для обработки больших объёмов данных и автоматизации рутинных задач
- •разработка автоматизированных инструментов оценки качества данных
- •предоставление экспертной поддержки потребителям по вопросам данных
Обязательно
- •высшее профильное образование и технический английский язык
- •опыт работы от 3 лет в роли Data Engineer / ETL Developer
- •отличное знание SQL и промышленных СУБД (PostgreSQL/Greenplum)
- •Java или Scala на уровне middle+
- •опыт работы с экосистемой Hadoop (HDFS, Hive, Spark, YARN, HBase)
- •опыт работы с CI/CD и инструментами (Jenkins, GitLab) и знание Git
- •умение пользоваться терминалом Linux
Будет плюсом
- •опыт работы с генеративными AI-моделями и созданием AI-агентов (GigaChat, Kandinsky и т.п.)
