Старший инженер данных
гибрид, Москва
Команда по данным ищет старшего Data Engineer для разработки витрин, оптимизации ETL и вывода моделей в сервисы. Роль важна для надежности данных и ускорения аналитики в e‑commerce и BI‑отчётности
ГрейдSenior
Стек
PythonPySparkVerticaAirflowClickHouseHiveHadoopSQLSupersetJupyterCI/CDUnix
Задачи
- •Проектирование и разработка витрин данных для анализа и моделирования
- •Оптимизация ETL-процессов и запросов, повышение производительности хранилищ
- •Построение системы мониторинга обновления витрин и источников данных
- •Перевод моделей в продакшен-сервисы и интеграция в пайплайны
- •Настройка процесса код‑ревью и CI/CD pipeline для data‑кода
- •Экспертная поддержка аналитиков (Jupyter + Python) и развитие базы знаний
Обязательно
- •Опыт работы с Hadoop и Spark (PySpark)
- •Отличное знание SQL и концепций DWH
- •Знакомство с Vertica и ClickHouse
- •Уверенное программирование на Python
- •Опыт работы с Airflow
- •Знание командной строки Unix
- •Опыт работы с BI-инструментами (опыт работы с любыми BI)
Будет плюсом
- •Опыт работы с Superset
- •Знание e‑commerce предметной области
- •Опыт настройки CI/CD и процессов код‑ревью