СберBig Data Engineer
Москва
Команда аналитики транзакционного бизнеса ищет инженера данных для проектирования и разработки ETL/ELT-пайплайнов и аналитических витрин в Hadoop-экосистеме. Работа обеспечивает доступность и качество данных для аналитиков и бизнес-решений.
ГрейдJunior/Middle
Опыт1–3 года
Стек
SparkHadoopHDFSGitHiveParquetGreenplumJenkinsSonarQubeNexusIntelliJ IDEAJupyter NotebookSQLScalaJavaPython
Задачи
- •анализ требований бизнеса и оценка доступности данных
- •проектирование и разработка аналитических витрин и ETL/ELT-пайплайнов
- •разработка и оптимизация Hive/Spark SQL и прототипов
- •работа с HDFS и форматами хранения (Parquet), партиционирование и бакетирование
- •тестирование ETL и участие в приёмке витрин заказчиками
- •обеспечение качества, целостности и доступности данных
Обязательно
- •опыт работы в роли DE/DA/ETL Developer не менее 1 года
- •практический опыт разработки в Hadoop: Hive, Spark, HDFS
- •отличное знание SQL (вложенные запросы, оконные функции, CTE, regexp)
- •знание концепций DWH
- •опыт работы с DevOps-инструментами: Git, Nexus, Jenkins, SonarQube
- •умение работать с большим количеством источников данных
Будет плюсом
- •опыт работы с Greenplum
- •опыт разработки на Scala, Java или Python
