МагнитВедущий разработчик ML / MLOps
офис, удалёнка, гибрид
Работа в команде ML-платформы прогнозирования спроса для федеральной розничной сети. Поддержка и развитие промышленного расчетного контура на Spark/Kubernetes с оркестрацией Airflow, обеспечивающего надежные прогнозы для бизнеса.
ГрейдLead
Стек
PythonPySparkDelta LakeKubernetesS3Apache AirflowDockerCI/CDSQL
Задачи
- •интеграция алгоритмов Data Science в промышленный контур прогнозирования
- •разработка и сопровождение Spark‑приложений и расчетных пайплайнов
- •поддержка и развитие Airflow DAG и процессов запуска в DEV/UAT/PROD
- •развитие MLOps‑фреймворка, версионирования расчетов и релизного процесса
- •оптимизация Spark‑расчетов и гарантирование стабильного выполнения пайплайнов в рамках SLA
- •работа с Kubernetes‑инфраструктурой под Spark‑приложения и хранением данных в S3/Delta Lake
Обязательно
- •хорошее знание Python
- •практический опыт с Apache Spark / PySpark
- •опыт работы с Apache Airflow
- •уверенный SQL
- •базовый практический опыт с Kubernetes и Docker
- •понимание принципов работы с большими объемами данных
- •понимание CI/CD и умение работать с логами и мониторингом
Будет плюсом
- •опыт с Delta Lake или другими lakehouse‑технологиями
- •опыт работы с ML или MLOps‑системами
- •опыт оптимизации Spark‑приложений
- •опыт с Data Quality, metadata или lineage
- •опыт эксплуатации Kubernetes в production
- •опыт работы с облачной инфраструктурой
- •опыт с Grafana или Spark History для мониторинга
