Т-БанкПродуктовый аналитик в команду Вселенной ассистентов
гибрид, Москва
Команда продуктовых аналитиков для экосистемы AI-ассистентов на базе LLM. Будете строить систему оценки качества, собирать данные и формировать продуктовые метрики, чтобы улучшать опыт пользователей и монетизацию ассистентов
Стек
PythonPandasSQLLLMPython (prod-analytics)Pandas (data processing)
Задачи
- •Разрабатывать систему оценки качества ассистентов: корзины запросов и метрики
- •Организовывать разметку качества краудсорсерами и автоматизировать пайплайны на базе LLM-as-a-Judge
- •Рассчитывать продуктовые метрики и готовить понятную отчётность для команды и бизнеса
- •Анализировать пользовательские диалоги, находить инсайты и предлагать продуктовые улучшения
- •Проектировать и проводить офлайн/онлайн эксперименты и A/B-тесты
- •Готовить данные для алайнмента языковых моделей и работать с NLP-командой
Обязательно
- •Опыт на стыке продуктовой аналитики и Data Science с чат-ботами/рекомендациями/генеративными системами
- •Уверенное владение SQL
- •Опыт программирования на Python и использование Pandas
- •Умение писать чистый аналитический код для продакшена
- •Опыт работы с текстовыми данными и LLM-продуктами
- •Навыки проектирования экспериментов и интерпретации метрик
Будет плюсом
- •Pet‑проекты с LLM‑агентами и практический опыт LLM-as-a-Judge
- •Опыт составления инструкций для разметчиков и human-in-the-loop процессов
- •Знание ecom-метрик, финансовых продуктов или продуктов для детской аудитории
