Ведущий аналитик качества в команду Вселенной AI-ассистентов

гибрид, Москва

Работа в команде продуктовых AI-ассистентов: вы будете строить систему оценки качества, разметку и автоматизированные пайплайны для проверки LLM-ответов, чтобы ассистенты давали понятные и корректные ответы и быстрее выпускать релизы с уверенностью в качестве

ГрейдLead

Стек

PythonPandasSQLLLM

Задачи

•Разрабатывать систему метрик и корзины тестовых запросов для оценки ассистентов
•Организовывать и управлять разметкой качества (краудсорс и автоматизация)
•Строить автоматизированные пайплайны оценки с LLM-as-a-Judge
•Анализировать пользовательские диалоги и искать инсайты для улучшения моделей
•Запускать эксперименты и оценивать успешность релизов до раскатки на пользователей

Обязательно

•опыт на границе продуктовой аналитики и Data Science (чат-боты, генеративные продукты, поиск)
•уверенное владение Python, особенно Pandas
•уверенное владение SQL
•умение писать аналитический продакшен-код
•опыт работы с текстовыми данными и LLM-продуктами

Откликнуться на сайте компании