СберDataOps (Рекламная платформа)
Москва
Команда IT B2C ищет инженера для администрирования и сопровождения облачной инфраструктуры данных и ML-пайплайнов рекламной платформы. Работа важна для обеспечения масштабных хранилищ, аналитики и производственных ML-сервисов.
ГрейдJunior/Middle
Опытот 2 лет
Стек
PythonSparkS3KubernetesTrinoNessieDataHubAirflowJupyterHubMLflowGitLabArgoCDJenkinsHadoopSQL
Задачи
- •сопровождение проектной инфраструктуры данных и ML (Managed S3, Spark-on-Kubernetes, Trino, Nessie, DataHub, Airflow, JupyterHub, MLflow)
- •участие в развитии архитектуры и инфраструктуры проекта
- •пилотирование технологий обработки данных
- •поддержка производственных процессов CI/CD и автоматизации
Обязательно
- •высшее образование
- •опыт работы в аналогичной роли от 2 лет
- •знание принципов построения и работы облачных сервисов и сервисов данных
- •опыт сопровождения кластеров больших данных на базе S3/Hadoop или облачных платформах
- •понимание подходов CI/CD и DevOps с опытом работы с GitLab, ArgoCD, Jenkins или аналогами
- •хорошие знания SQL и опыт работы с реляционными базами данных
- •практический опыт автоматизации и написания скриптов на Python и Bash
Будет плюсом
- •опыт промышленной разработки на Scala/Java/Python
- •опыт разработки data-приложений и витрин данных с использованием Spark (SQL), Trino, Kafka, Hive, Datafusion
- •опыт работы с аналитическими/MPP БД (ClickHouse, Vertica, Greenplum)
- •практический опыт построения корпоративного или проектного DWH
- •навыки работы с генеративными AI-моделями
- •опыт создания AI-агентов и использования их в работе
