МоскваАсессор в продукт Цифровой ассистент Москвы
удалёнка, гибрид, Москва
Команда цифрового ассистента MOS.RU ищет ассессора для разметки обращений и оценки качества ответов. Будете работать с Label Studio, анализировать негативные оценки, выявлять ошибки LLM и формировать рекомендации для улучшения ассистента
Стек
Label Studio
Задачи
- •Разметка пользовательских обращений в Label Studio
- •Оценка ответов ассистента по критериям качества
- •Анализ негативных оценок пользователей и выявление причин
- •Участие в ad-hoc исследованиях: сравнение версий модели и проверка гипотез
- •Выявление и описание ошибок работы LLM и формирование рекомендаций
- •Участие в написании гайдов и разработке алгоритмов ассесмента для новых типов задач
Обязательно
- •опыт работы асессором в Label Studio
- •понимание принципов работы ИИ-ассистентов
- •грамотная письменная речь и внимательность к деталям
- •готовность к монотонной работе с большими массивами данных
- •уверенное владение ПК и интернетом
- •аналитическое мышление
Будет плюсом
- •опыт активного пользователя mos.ru и знание его сценариев
- •опыт работы в МФЦ, НТУ или с Госуслуги.рф
- •опыт тестирования цифровых ассистентов
- •знание метрик оценки качества ответов ИИ-ассистентов
- •базовое понимание работы LLM
- •опыт наставничества и обучения сотрудников
