СберData Scientist / ML Researcher (Оценка и улучшение качества Ai агентов)
офис
Команда Gen AI развивает платформу цифровых ассистентов для банковских продуктов. Роль в разработке системы автоматической оценки качества мультиагентных LLM‑решений, метрик и пайплайнов мониторинга, чтобы повысить надежность агентов в продакшене.
ГрейдMiddle/Senior
Опытот 3 лет
Стек
PythonPyTorchpysparkLangChainpandasnumpyscikit-learnLangGraph
Задачи
- •Исследование и разработка методов автоматизированной оценки качества агентов
- •Анализ данных и пользовательских сценариев мультиагентных систем для улучшения качества
- •Проектирование и реализация системы метрик качества компонентов и всей системы
- •Создание пайплайнов мониторинга, визуализации метрик и LLM‑as‑a‑Judge решений
- •Анализ систем роутинга, оркестрации, планирования, управления контекстом и памяти; разработка/улучшение механизмов
Обязательно
- •высшее техническое или математическое образование
- •опыт в сфере ML и анализа данных от 3 лет
- •глубокое понимание LLM, NLP и классических ML‑алгоритмов; знание теории вероятностей и математической статистики
- •владение pandas, numpy, scikit‑learn, PyTorch, LangChain, LangGraph, pyspark
- •практические навыки работы с LLM и промпт‑инжинирингом
- •понимание микросервисных архитектур, мультиагентных систем и LLM‑приложений
