LamodaSenior Big Data Engineer
Москва
Команда дата-инженеринга развивает платформу данных для e‑commerce: строит ETL/streaming пайплайны, хранилища и облачную инфраструктуру, чтобы ускорить аналитические и ML сценарии и обеспечить надежные и оптимизированные данные для бизнеса
ГрейдSenior
Стек
SparkAirflowIcebergKubernetesTrinoLineageDQCloudETL
Задачи
- •Проектирование и разработка ETL/streaming пайплайнов на Airflow и Spark
- •Оптимизация производительности Spark‑джобов и управление нагрузкой кластера
- •Проектирование и настройка хранилищ на Iceberg и инфраструктуры на k8s
- •Взаимодействие с аналитиками и ML‑инженерами для подготовки наборов данных
- •Внедрение инструментов data lineage и контроля качества данных
- •Участие в code review и архитектурных решениях платформы
Обязательно
- •Опыт разработки ETL/streaming пайплайнов на Spark
- •Практика с Airflow для оркестрации пайплайнов
- •Знание Iceberg и принципов построения дата‑хранилищ
- •Опыт работы с Kubernetes для продакшн‑инфраструктуры
- •Умение оптимизировать ресурсы и мониторить кластеры
- •Опыт взаимодействия с аналитиками и ML‑командами
- •Участие в code review и архитектурных решениях
Будет плюсом
- •Опыт с Trino
- •Знакомство с инструментами lineage и DQ
- •Опыт проектирования облачных хранилищ
