СберDataOps (Администратор систем управления данными)
гибрид, Москва
Команда IT B2C ищет специалиста для администрирования и сопровождения облачной инфраструктуры данных и платформы ML (S3, Spark-on-Kubernetes, Trino и др.). Роль важна для стабильной работы аналитики и ML-пайплайнов, обеспечивая доступность и масштабируемость данных
ГрейдMiddle
Опытот 2 лет
Стек
PythonSparkS3KubernetesTrinoNessieDataHubAirflowJupyterHubMLflowGitLabArgoCDJenkinsSQL
Задачи
- •сопровождение проектной инфраструктуры данных и ML-платформы (Managed S3, Spark-on-Kubernetes, Trino, Nessie, DataHub)
- •администрирование и поддержка Airflow, JupyterHub и MLflow
- •участие в развитии архитектуры и инфраструктуры проекта
- •пилотирование и внедрение новых технологий обработки данных
- •автоматизация рутинных процессов и поддержка CI/CD пайплайнов
Обязательно
- •высшее образование
- •опыт работы в аналогичной роли от 2 лет
- •знание принципов работы облачных сервисов и сервисов данных
- •практический опыт сопровождения кластеров больших данных на S3/Hadoop/облачных платформах
- •опыт работы с CI/CD и DevOps-инструментами (GitLab, ArgoCD, Jenkins или аналоги)
- •хорошие знания SQL и опыт с реляционными БД
- •навыки автоматизации и написания скриптов на Python и Bash
Будет плюсом
- •опыт промышленной разработки на Scala/Java/Python
- •опыт разработки data-приложений и витрин на Spark, Trino, Kafka, Hive, Datafusion
- •опыт работы с аналитическими/MPP СУБД (ClickHouse, Vertica, Greenplum)
- •практический опыт построения корпоративного DWH
- •навыки работы с генеративными AI-моделями и созданием AI-агентов
