VKData Engineer
Москва
Команда развивает DWH VK Рекламы и переводит нагрузки с legacy ClickHouse TRG-1 на YTsaurus и управляемый ClickHouse для аналитики. Вы будете развивать ETL/ELT-пайплайны, поддерживать отчетность и обеспечивать качество данных для бизнес‑отчётов и аналитики
ГрейдMiddle
Стек
PythonYTsaurusClickHouseAirflowSQLYQLSupersetDataLensGit
Задачи
- •Разработка и сопровождение ETL/ELT на YTsaurus (YQL) и ClickHouse
- •Участие в миграции таблиц и отчётности с TRG-1 на YT + MDB
- •Поддержка DAG'ов в Airflow и автоматизация пайплайнов
- •DQ‑проверки, мониторинг свежести данных и разбор инцидентов
- •Поддержка отчётности в Horizon BI (Superset/DataLens) и взаимодействие с аналитиками
- •Дежурства в онколле с наставничеством на старте
Обязательно
- •уверенный SQL
- •опыт с ClickHouse или другой колоночной аналитической СУБД
- •опыт работы с ETL‑пайплайнами и оркестратором Airflow или аналогом
- •Python для написания рабочих скриптов автоматизации
- •базовое понимание DWH: слои, моделирование, backfill
- •опыт анализа расхождений в данных и нахождения первопричины
- •опыт работы с Git
Будет плюсом
- •знание YTsaurus / YQL
- •опыт миграций данных между кластерами
- •знание AdTech‑доменa (показы, клики, биллинг)
- •опыт работы с Horizon BI (Superset / DataLens)
