VKВедущий инженер данных
гибрид, Москва
Команда VK Видео ищет инженера данных для разработки и поддержки ETL-процессов, витрин и доставки данных аналитикам и ML‑командам; работа важна для качества аналитики, моделей и принятия продуктовых решений
ГрейдLead
Стек
PythonAirflowClickHouseHadoopSparkYTGit
Задачи
- •Проектировать и поддерживать ETL-пайплайны и процессы обработки данных
- •Собирать и оптимизировать витрины для аналитики и ML
- •Писать ad‑hoc выгрузки и скрипты для исследований
- •Отлаживать и дебажить конвейеры данных и кластерные вычисления
- •Собирать требования от аналитиков и ML-инженеров
Обязательно
- •Понимание параллельных вычислений на кластере
- •Опыт с Airflow
- •Опыт работы со Spark
- •Опыт работы с Hadoop
- •Опыт с ClickHouse
- •Знание Python и умение читать сложный код
- •Опыт работы с Git и код‑ревью
Будет плюсом
- •Опыт работы с YT (Yandex.Tank/YC?)
