Senior Data Engineer

офис, гибрид, Москва

Команда Data Engineering развивает платформу данных: вы будете разрабатывать и оптимизировать ETL-пайплайны, строить витрины в Greenplum и ClickHouse и обеспечивать доставку данных для BI-дашбордов — это ускорит аналитические и бизнес-решения

ГрейдSenior

Опыт4–5 лет

Стек

Apache SparkClickHouseGreenplumHDFSHiveSQLSuperset

Задачи

•Разработка ETL-пайплайнов на Apache Spark
•Создание и поддержка витрин данных в Greenplum и ClickHouse
•Оркестрация и сопровождение ETL-процессов
•Оптимизация ETL (батчинг, ретраи, настройка производительности, SLA-контроль)
•Взаимодействие с BI-разработчиками и DevOps для своевременной доставки данных в BI-дашборды (Superset)

Обязательно

•Глубокий опыт работы с Apache Spark (оптимизация джобов, настройка памяти и shuffle)
•Опыт работы с ClickHouse
•Опыт работы с Hadoop (HDFS, Hive)
•Проектирование и разработка потоков данных и алгоритмов загрузки
•Оптимизация ETL-пайплайнов и SQL-кода
•Продвинутые знания SQL
•Готовность осваивать Java для работы со Spark