СберData engineer
Москва
Команда развивает платформу данных внутри AEF для сбора, обработки и витринования трейсов и метрик работы AI‑агентов. Инженер будет выводить решения в промышленную эксплуатацию, обеспечивать стабильность витрин и готовить данные для аналитики и исследований
ГрейдMiddle/Senior
Опытот 3 лет
Стек
PythonSparkHadoopGitPySparkScalaSQLHiveHDFSYARN
Задачи
- •разрабатывать и выводить в ПРОМ витрины на SQL, Spark
- •разрабатывать сервисы для обработки и поставки данных
- •готовить и обрабатывать трейсы, технические показатели и метрики AI‑агентов
- •сопровождать витрины: анализ логов и метрик, диагностика и устранение сбоев
- •разрабатывать проверки качества данных и тестировать расчёты
- •поддерживать документацию и консультировать внутренние команды
Обязательно
- •опыт в data engineering от 3х лет
- •практический опыт разработки на PySpark или Spark
- •опыт разработки на Python или Scala
- •уверенное знание SQL (сложные запросы, оптимизация)
- •практический опыт работы с Hadoop (HDFS, YARN, Hive)
- •опыт вывода расчётов или сервисов в промышленную среду: Git, CI/CD, тестирование, диагностика по логам и метрикам
- •умение использовать и оценивать LLM‑инструменты для инженерных задач
