СберSenior Data аnalyst
гибрид, Москва
Команда прикладных сервисов СберБизнес ищет аналитика для работы с мультиагентной системой GenAI: оценка качества ответов агентов, error analysis и A/B‑тестирование. Роль важна для повышения точности автоматизации клиентских сценариев и стабильности критичных банковских процессов.
ГрейдSenior
Опытот 1 года
Стек
PythonpandasSQLGitnumpyscipymatplotlib
Задачи
- •разрабатывать и внедрять метрики качества ответов агентов (точность, полнота, непротиворечивость)
- •проводить структурный анализ ошибок и выявлять паттерны галлюцинаций и деградации качества
- •планировать и проводить A/B‑эксперименты: сравнивать версии промптов, архитектур агентов и модели; интерпретировать результаты
- •генерировать синтетические датасеты для тестирования и улучшения агентов
- •формализовывать требования к качеству и передавать метрики в команду мониторинга
- •готовить аналитические отчёты и презентовать выводы с конкретными рекомендациями
Обязательно
- •хорошее знание математической статистики и дизайна экспериментов (A/B‑тесты, статзначимость)
- •опыт работы аналитиком данных от 1 года
- •продвинутое знание SQL
- •уверенный Python для анализа и визуализации данных (pandas, numpy, scipy, matplotlib)
- •опыт проведения исследований: проверка гипотез, оценка результатов и формулировка actionable-выводов
- •понимание устройства мультиагентных систем или сложных LLM‑пайплайнов (оркестрация, цепочки вызовов, RAG)
Будет плюсом
- •понимание принципов рекомендательных/ранжирующих систем и методов их оценки
- •знакомство с Big Data стеком (Hadoop, Spark)
- •опыт работы с git, bash/linux и инструментами разработки (Jira, Confluence)
- •опыт в банковской сфере или fintech-проектах
- •опыт работы с векторными базами данных
- •опыт с LLM‑фреймворками для оркестрации агентов (LangChain, AutoGen, CrewAI, LlamaIndex)
- •опыт промпт‑инжиниринга и управления структурой ответа (JSON), цепочками рассуждений
