Wildberries & RussDevops / Платформа данных
удалёнка
Команда Платформы данных развивает инфраструктуру обработки и хранения данных маркетплейса. Вы будете поддерживать и развивать критичные инсталляции Airflow и Kubernetes, обеспечивая надёжность конвейеров данных и доступность платформы для команд Data Engineering
Стек
AirflowKubernetesHelmCI/CD
Задачи
- •Разработка и сопровождение инфраструктуры платформы данных (агенты, фреймворки, предобработки)
- •Поддержка и устранение типовых проблем в Kubernetes на уровне Deployment, StatefulSet, CRD и PVC
- •Поддержка и доработка Helm-чартов, создание новых чартах и работа с umbrella chart при необходимости
- •Поддержка и сопровождение инсталляций Airflow, обеспечение его архитектуры и исполнителей
- •Поддержка CI/CD-пайплайнов для платформы данных и шаблонов сборки
Обязательно
- •Уверенный опыт работы с Airflow в роли инфраструктурного инженера; понимание архитектуры Airflow и различий между LocalExecutor, KubernetesExecutor и CeleryExecutor
- •Базовые, но уверенные знания Kubernetes и способность оперативно диагностировать и устранять типовые проблемы на уровне Deployment, StatefulSet, CRD и PVC
- •Понимание принципов работы Helm, умение дорабатывать существующие Helm-чарты и создавать новые
- •Базовый опыт работы с GitLab CI, включая умение собирать и поддерживать CI/CD-пайплайны на основе шаблонов
- •Готовность брать ownership за критичные инсталляции и сервисы, с которыми ежедневно работают команды Data Engineering
Будет плюсом
- •Опыт работы с umbrella chart
- •Базовое понимание GitOps-подхода и практический опыт работы с Argo CD
