OzonМидл дата-инженер, ML, Ozon Банк
офис, гибрид, Москва
Команда машинного обучения: строить и поддерживать batch-пайплайны больших данных для скоринга, антифрода и других ML-продуктов. Работа влияет на запуск моделей в продакшн, совместно с дата-сайентистами, MLOps и аналитиками.
ГрейдMiddle
Стек
PythonPySparkClickHouseAirflowHDFSSQLKafkaFeature Store
Задачи
- •Разрабатывать batch-пайплайны на Spark/PySpark под Airflow
- •Готовить витрины и датасеты для обучения, скоринга и мониторинга
- •Организовывать слои и партиционирование в HDFS, контролировать хранение и квоты
- •Оптимизировать производительность и ресурсоёмкость Spark-задач и структуру ClickHouse-таблиц
- •Обеспечивать надёжность пайплайнов: DQ-проверки, мониторинг, алерты и разбор инцидентов
Обязательно
- •Опыт разработки промышленных пайплайнов данных
- •Уверенное знание Spark/PySpark
- •Знание Python
- •Уверенное владение SQL
- •Опыт работы с Airflow
- •Опыт работы с ClickHouse
- •Понимание распределённых вычислений, партиционирования и оптимизации ETL
Будет плюсом
- •Опыт работы с Kafka
- •Опыт работы с Feature Store
- •Опыт с данными для ML, скоринга или антифрода
