СберПродуктовый аналитик (Гига-ассистент)
Москва
Команда развивает AI бизнес‑помощника для клиентов малого и среднего бизнеса. Вы будете оценивать качество ответов агентов, проводить error analysis и A/B‑тесты, формировать метрики и рекомендации для улучшения продукта и мониторинга качества
ГрейдJunior/Middle
Опыт1–3 года
Стек
PythonpandasSQLnumpyscipymatplotlib
Задачи
- •Разрабатывать и внедрять метрики оценки ответов агентов (точность, полнота, непротиворечивость)
- •Проводить структурный анализ ошибок и выявлять паттерны галлюцинаций и сбоев логики
- •Планировать и анализировать A/B‑эксперименты по промптам, архитектурам и моделям
- •Генерировать синтетические датасеты (диалоги, запросы, эталонные ответы) для тестирования
- •Формализовывать требования к качеству и передавать метрики в глобальный мониторинг
- •Готовить аналитические отчёты и давать конкретные рекомендации команде
Обязательно
- •Знание математической статистики, теории вероятностей и дизайна экспериментов
- •Опыт работы аналитиком данных от 1 года
- •Продвинутое владение SQL
- •Уверенный Python для анализа данных (pandas, numpy, scipy)
- •Опыт проведения A/B‑тестов и интерпретации результатов
- •Понимание устройства мультиагентных систем и сложных LLM‑пайплайнов (оркестрация, цепочки вызовов, RAG)
