Data Engineer
офис, гибрид, Москва
Работа в команде данных над созданием и поддержкой слоёв RAW/ODD/DDS, витрин для аналитики и моделей, оптимизацией ETL и мониторингом обновлений; цель — повысить качество и надёжность данных для аналитиков и бизнес‑решений
ГрейдMiddle
Стек
PythonAirflowClickHouseGitLabVerticaHivePySparkHadoopSupersetSQLUnix
Задачи
- •Создание и развитие слоёв данных RAW, ODD, DDS
- •Проектирование и разработка витрин данных для анализа и моделирования
- •Оптимизация ETL-процессов и запросов
- •Настройка мониторинга обновления витрин и источников данных
- •Автоматизация отчётов и превращение моделей в сервисы, выстраивание CI/CD и code review
- •Экспертная поддержка по обработке данных в Jupyter + Python и ведение базы знаний
Обязательно
- •Отличное знание SQL и концепций DWH
- •Опыт программирования на Python
- •Опыт работы с Airflow, Hadoop, Spark/PySpark и GitLab
- •Знакомство с MPP СУБД (Vertica, ClickHouse)
- •Умение работать в Unix‑среде (командная строка)
- •Опыт с BI-инструментами (например Superset)
Будет плюсом
- •Опыт разворачивания моделей как сервисов и CI/CD
- •Опыт в e‑commerce
- •Знание Superset как основного BI-инструмента