МагнитГлавный разработчик ML / MLOps
офис, удалёнка, гибрид
Команда развивает ML-платформу прогнозирования спроса для федеральной розничной сети; вы будете внедрять алгоритмы, поддерживать расчетные пайплайны и обеспечивать надежную платформу обработки петабайтов данных на Spark/Kubernetes
ГрейдLead
Стек
PythonApache SparkDelta LakeKubernetesApache AirflowS3DockerPySparkSQLCI/CDRayApache Comet
Задачи
- •Интеграция ML-алгоритмов и изменений Data Science в промышленный контур
- •Развитие MLOps-фреймворка, CI/CD и процессов поставки между DEV/UAT/PROD
- •Развитие и сопровождение расчетных пайплайнов и оркестрации в Apache Airflow
- •Оптимизация и масштабирование Spark-расчетов на больших данных
- •Поддержка Kubernetes-инфраструктуры для Spark-приложений и инструментов мониторинга
Обязательно
- •уверенное знание Python и промышленная разработка
- •опыт с Apache Spark / PySpark
- •опыт разработки пайплайнов в Apache Airflow
- •практический опыт с Kubernetes и Docker
- •уверенное знание SQL
- •опыт работы с большими объемами данных
- •опыт работы с S3 или другими объектными хранилищами
Будет плюсом
- •опыт с Delta Lake или lakehouse-технологиями
- •опыт MLOps или эксплуатации промышленных ML-систем
- •опыт оптимизации и масштабирования Spark-приложений
- •опыт работы с Data Quality, metadata и lineage
- •опыт работы с облачной инфраструктурой
