Т-БанкML-аналитик в команду Вселенной ассистентов
гибрид, Москва
Команда отвечает за качество персональных LLM‑ассистентов — General‑ассистента и маршрутизацию в вертикали. Вы будете строить систему оценки, разметку и метрики, чтобы снизить галлюцинации, улучшить роутинг и повысить продуктовые показатели
Стек
PythonPandasSQLLLMJupyterGit
Задачи
- •Разрабатывать систему оценки качества ассистента: подбор корзин запросов и метрик
- •Организовывать и контролировать разметку качества краудсорсерами
- •Автоматизировать пайплайны оценки и интеграцию результатов в продукт
- •Рассчитывать продуктовые метрики и готовить регулярную отчетность
- •Анализировать пользовательские диалоги и формулировать гипотезы для экспериментов
- •Собирать данные для алаймента языковой модели
Обязательно
- •опыт на стыке продуктовой аналитики и Data Science
- •уверенное владение Python (Pandas)
- •уверенный SQL
- •умение писать аналитический продакшен‑код
- •опыт работы с текстовыми данными и LLM
- •использование LLM в рабочем процессе
Будет плюсом
- •pet‑проекты с ML/LLM‑агентами
- •понимание подходов к оценке LLM (LLM‑as‑a‑Judge, инструкции разметчиков)
- •опыт организации офлайн и онлайн экспериментов
- •опыт human‑in‑the‑loop и работы с краудсорсерами
