YADROData Engineer (Аналитик данных)
гибрид, Москва
Команда развивает хранилище данных и ETL-пайплайны: сбор, интеграция и трансформация данных, мониторинг и автоматизация доставки витрин. Роль важна для обеспечения качества данных и быстрой аналитики для бизнеса и аналитиков.
ГрейдMiddle/Senior
Стек
PythonAirflowClickHouseCI/CDVerticapandasSQLGitVault
Задачи
- •Разработка и сопровождение ETL/ELT-пайплайнов и DAG’ов
- •Проектирование таблиц и витрин DWH, оптимизация запросов и производительности
- •Интеграция источников данных и загрузка в хранилище
- •Настройка мониторинга, логирования и устранение ошибок в конвейерах данных
- •Автоматизация рабочих процессов аналитиков и поддержка CI/CD для релизов
- •Описание процессов, поддержка базы знаний и эксплуатационных решений
Обязательно
- •Уверенный SQL (JOIN, CTE, оконные функции, агрегаты, подзапросы) и умение оптимизировать планы выполнения
- •Опыт работы с ClickHouse и Vertica
- •Знание Python и опыт работы с pandas, API и базами данных
- •Опыт разработки и сопровождения ETL/ELT-пайплайнов и Airflow
- •Уверенная работа с Git и понимание принципов CI/CD
- •Базовое знание Linux и принципов контейнеризации
- •Опыт взаимодействия с аналитиками и доведения задач до production
