Т-БанкВедущий аналитик качества в команду Вселенной AI-ассистентов
гибрид, Москва
Работа в команде продуктовых AI-ассистентов: вы будете строить систему оценки качества, разметку и автоматизированные пайплайны для проверки LLM-ответов, чтобы ассистенты давали понятные и корректные ответы и быстрее выпускать релизы с уверенностью в качестве
ГрейдLead
Стек
PythonPandasSQLLLM
Задачи
- •Разрабатывать систему метрик и корзины тестовых запросов для оценки ассистентов
- •Организовывать и управлять разметкой качества (краудсорс и автоматизация)
- •Строить автоматизированные пайплайны оценки с LLM-as-a-Judge
- •Анализировать пользовательские диалоги и искать инсайты для улучшения моделей
- •Запускать эксперименты и оценивать успешность релизов до раскатки на пользователей
Обязательно
- •опыт на границе продуктовой аналитики и Data Science (чат-боты, генеративные продукты, поиск)
- •уверенное владение Python, особенно Pandas
- •уверенное владение SQL
- •умение писать аналитический продакшен-код
- •опыт работы с текстовыми данными и LLM-продуктами
