СберML-аналитик / аналитик качества ИИ-помощника
Москва
Команда исследует поведение ИИ‑помощника и строит системы оценки качества. Вы будете создавать eval‑наборы, автоматические и ручные метрики, связывать качество модели с продуктовыми результатами и строить инструменты для обнаружения регрессий
Стек
PythonSQL
Задачи
- •Исследовать ошибки помощника и выявлять причины
- •Создавать eval‑наборы, бенчмарки и критерии приёмки
- •Развивать автоматическую оценку (LLM‑as‑judge) и проверять её на человеческой разметке
- •Преобразовывать проблемы в гипотезы и данные для дообучения
- •Строить инструменты для ускорения исследований и обнаружения регрессий
Обязательно
- •Уверенная работа с Python
- •Умение работать с SQL и анализировать данные
- •Сильная база в статистике и анализе данных
- •Понимание принципов работы LLM и их ограничений
- •Опыт постановки экспериментов и проверки гипотез
- •Опыт использования кодинговых агентов в рабочих задачах
- •Умение объяснять выводы и работать с неопределённостью
