СберData Quality Middle+/Senior (Антифрод-платформа)
Москва
Команда развивает DataQuality — систему мониторинга качества данных для антифрод‑платформы. Вы будете настраивать и улучшать алерты, исследовать инциденты и данные в Hadoop/Spark, чтобы уменьшать ложные срабатывания и ловить реальные проблемы в боевом потоке
ГрейдMiddle/Senior
Опытот 3 лет
Стек
PythonPySparkHadoopSpark SQLSQLClickHouseGreat ExpectationsSodaEvidentlyAtlasDataHubOpenLineage
Задачи
- •анализировать поток срабатываний проверок качества и отделять шум от реальных деградаций
- •настраивать пороги, окна агрегации и базовые периоды на основе распределений
- •искать первопричины инцидентов в сырых событиях и истории
- •оценивать качество алертов по метрикам ложноположительных и ложноотрицательных
- •развивать статистические и ML‑методы детектирования аномалий и дрейфа
- •писать эффективные запросы и расчеты на Spark SQL/PySpark для большого кластера
Обязательно
- •опыт в аналитике данных или Data Science от 3 лет с потоковыми/near‑real‑time данными
- •уверенные Spark SQL и PySpark на больших объёмах
- •сильный SQL: оконные функции, многошаговые агрегации, джойны и работа с NULL
- •Python как основной инструмент для автоматизации и анализа
- •теория вероятностей и математическая статистика на прикладном уровне
- •прикладная статистика для мониторинга: PSI, z‑score/IQR, сезонность, precision/recall
Будет плюсом
- •опыт работы с ClickHouse
- •опыт оптимизации расчётов на Spark
- •опыт ML‑детектирования аномалий и дрейфа в продакшн‑мониторинге
- •опыт поддержки/эксплуатации и разбора инцидентов
- •знание инструментов качества данных: Great Expectations, Soda, Evidently, Monte Carlo
- •опыт с каталогами и lineage: Atlas, DataHub, OpenLineage
- •понимание работы фрод‑правил и скорингов
