Дата-инженер по прайсингу продуктов

удалёнка, Москва

Команда занимается данными для прайсинга продуктов: вы будете разрабатывать и поддерживать batch‑пайплайны и витрины, управлять DAG'ами в Airflow и оптимизировать вычисления на Spark/Hadoop для корректных и быстрых расчётов прайсов

Стек

PythonSparkHadoopAirflowGitSQL

Задачи

•Разработка и поддержка batch‑пайплайнов данных
•Создание и сопровождение DAG'ов в Airflow
•Настройка, запуск и оптимизация вычислений на Spark/Hadoop
•Разработка выгрузок и витрин данных для аналитиков и DS‑команды
•Рефакторинг существующего кода для повышения читаемости и надёжности
•Техническая коммуникация с аналитиками и DS по требованиям и оценке рисков

Обязательно

•Высшее техническое образование
•Опыт работы python‑разработчиком или дата‑инженером
•Уверенный Python 3: production‑код, логирование, обработка ошибок
•Опыт работы с Hadoop‑экосистемой
•Практический опыт со Spark: DataFrame API, джойны, партиционирование и оптимизация
•Практический опыт с Airflow: создание и сопровождение DAG'ов
•Уверенное владение Git и умение писать SQL для аналитики и ETL