OzonData Scientist (Модели оценки качества), Диалоговый ИИ и ML сервисы
удалёнка, Москва
Команда Dialog AI работает над оценкой и валидацией ML-моделей для чат-агентов и аналитики текста. Вы будете разрабатывать процессы и инструменты для аудита, автоматической валидации и реалтайм‑анализа качества ответов, чтобы повысить точность и надёжность пользовательских интеракций.
ГрейдMiddle/Senior
Опытот 3 лет
Стек
PythonPyTorchClickHouseKafkaasyncioTransformersTriton Inference ServervllmgRPCRedisS3SQLGitCI/CD
Задачи
- •Проводить аудит поведения всех типов моделей отдела и оценку качества ответов агентов
- •Разрабатывать и поддерживать процессы оценки и валидации ML/LLM-решений
- •Создавать инструменты автоматической валидации и симуляции взаимодействий с агентами
- •Разрабатывать реалтайм‑решения для анализа динамики диалогов и мониторинга качества
- •Прототипировать ML-решения для проверки гипотез об их влиянии на метрики
- •Задавать стандарты оценки поведения и качества ответов
Обязательно
- •Опыт работы Data Scientist от 3 лет
- •Опыт работы с NLP от 2 лет
- •Практический опыт проведения процедур оценки и валидации LLM-решений
- •Опыт работы с агентами для консультации пользователей
- •Опыт работы с RAG‑платформами, эмбеддерами и ретриверами
- •Умение писать продакшн‑код
- •Понимание ограничений LLM и умение готовить понятные отчёты и объяснять метрики
Будет плюсом
- •Опыт в аудите ML-решений
- •Опыт разработки агентских систем
- •Опыт постановки задач на разметку и приёмки результатов
