VKДата-инженер
Москва
Команда DWH работает с петабайтными объёмами и сотнями ежедневных расчётов; вы будете строить и оптимизировать ETL-пайплайны на YTsaurus, готовить данные для отчётов и A/B‑тестов и облегчать доступ данных для бизнес‑юнитов
ГрейдMiddle
Стек
JavaSparkYTsaurusAirflowClickHouseSupersetGrafana
Задачи
- •Построение новых и рефакторинг существующих ETL‑процессов
- •Ad hoc выгрузки и подготовка данных с последующей автоматизацией
- •Подготовка данных для A/B‑тестов и передачи другим бизнес‑юнитам
- •Участие в доработках платформы и фреймворка расчётов
- •Разработка отчетов в Superset
- •Автоматизация процессов с использованием LLM
Обязательно
- •Опыт работы с SQL и обработкой больших объёмов данных
- •Опыт построения сложных ETL‑процессов
- •Знание базовых алгоритмов и структур хранения данных
- •Понимание принципов работы распределённых систем
- •Умение работать без чётких ТЗ и плотно взаимодействовать с заказчиком
Будет плюсом
- •Опыт работы с ClickHouse
- •Опыт работы со Spark
- •Опыт работы с Java
- •Опыт работы с Airflow
- •Опыт с YTsaurus
- •Опыт работы с YQL
- •Опыт автоматизации с использованием LLM
