LamodaИнженер по обеспечению надежности данных (Senior DataOps/Big Data Infrastructure Engineer)
Москва
Команда отвечает за развитие и эксплуатацию дата‑платформы и построение Lakehouse на Yandex Cloud. Будете проектировать, разворачивать и сопровождать платформенные сервисы, оркестрацию пайплайнов и практики DataOps для обеспечения надежности, стоимости и быстрого доступа к данным
ГрейдSenior
Стек
HadoopYandex CloudTerraformKubernetesOracleVerticaAnsibleHelmGitOpsAirflowSparkTrinoJupyterHubMonitoring
Задачи
- •Развивать и сопровождать текущую дата‑платформу (Hadoop, Oracle, Vertica)
- •Проектировать и внедрять Lakehouse-платформу на базе Yandex Cloud
- •Автоматизировать развёртывание и эксплуатацию инфраструктуры с Terraform, Ansible, Helm и GitOps
- •Поддерживать Kubernetes‑контур: операторы, изоляция окружений, storage, ingress, секреты
- •Поддерживать и оптимизировать execution layer для пайплайнов: Airflow, Spark, Trino, JupyterHub
- •Развивать мониторинг, алертинг и практики DataOps: контроль схем, миграций, качества и свежести данных
Обязательно
- •Опыт работы с Hadoop и хранениями данных (Oracle, Vertica)
- •Опыт автоматизации инфраструктуры: Terraform, Ansible, Helm; применение GitOps‑подходов
- •Опыт эксплуатации и настройки Kubernetes в контексте дата‑платформ
- •Опыт с системами оркестрации и выполнения data‑пайплайнов: Airflow, Spark, Trino
- •Навыки настройки мониторинга и алертинга для дата‑платформ
- •Опыт работы с гибридной инфраструктурой и оптимизации стоимости и производительности
Будет плюсом
- •Опыт построения Lakehouse‑решений
- •Опыт работы с JupyterHub и инструментами для Data Science среды
- •знание специфики Yandex Cloud и его сервисов
