VKВедущий дата инженер
гибрид, Москва
Команда отвечает за сбор, трансформацию и доставку данных внутри крупнейшего мессенджера. Вы будете проектировать и поддерживать ETL/DAG-процессы, обеспечивать качество данных и стабильный расчёт бизнес‑метрик для аналитиков и продуктовых команд
ГрейдLead
Стек
PythonAirflowClickHouseHadoopYTsaurusLuigiSQL
Задачи
- •Проектировать и реализовывать сложные ETL-пайплайны и DAG для автоматизации
- •Развивать и пилотировать решения по Data Quality и собственный ETL‑фреймворк
- •Подготавливать и трансформировать данные от источника до витрин для аналитики
- •Реализовывать и поддерживать расчёт бизнес‑метрик совместно с аналитиками
- •Поддерживать доступность сервисов, настраивать мониторинг и алерты для ETL
Обязательно
- •Опыт разработки на Python на уровне создания собственных инструментов
- •Уверенное владение SQL и оптимизация сложных запросов
- •Опыт проектирования DWH: слои, модели хранения данных и ETL‑процессы
- •Знание распределённых систем (Hadoop или YTsaurus) и ClickHouse
- •Опыт работы с оркестраторами задач (Airflow, Luigi или аналогами)
- •Понимание мониторинга ETL‑процессов и настройки алертов
- •Знание алгоритмов и структур данных для работы с большими объёмами
