СберАналитик данных (СберБизнес)
гибрид, Москва
Команда разработки AI Бизнес‑помощника для клиентов СберБизнес. Работать будете над метриками, экспериментами и анализом ошибок в чат‑системе на базе LLM/RAG, чтобы повысить качество ответов, надёжность и полезность сервиса для предпринимателей
ГрейдMiddle/Senior
Опытот 3 лет
Стек
PythonpandasSQLNumPyscipymatplotlib
Задачи
- •Разработка кастомных метрик оценки ответов агентов (точность, полнота, непротиворечивость)
- •Проведение структурного анализа ошибок и выявление паттернов галлюцинаций и логических сбоев
- •Планирование и проведение A/B‑экспериментов и интерпретация результатов
- •Генерация синтетических датасетов (диалоги, запросы, эталонные ответы) для тестирования агентов
- •Формализация требований к качеству и передача метрик в глобальный мониторинг
- •Подготовка аналитических отчётов и презентация выводов с практическими рекомендациями
Обязательно
- •знание математической статистики и дизайна экспериментов (A/B, статзначимость)
- •опыт работы аналитиком данных от 3 лет
- •умение писать сложные SQL‑запросы
- •опыт анализа и визуализации данных на Python (pandas, numpy, scipy)
- •опыт проведения исследований и проверки гипотез с выводами actionable
- •понимание мультиагентных систем или LLM‑пайплайнов (оркестрация, RAG, цепочки вызовов)
