ЯндексАналитик-разработчик в команду качества генеративных ответов
гибрид
Команда качества Нейро: вы будете формализовать правила качества ответов, запускать и сопровождать проекты разметки в Yandex Crowd и анализировать результаты с помощью кода и статистики, чтобы улучшать поведение LLM в продукте
Стек
PythonSQLYandex CrowdLLMTolokaYandexGPT
Задачи
- •Формализовать критерии качества ответов и писать инструкции для разметчиков
- •Проектировать и запускать иерархические проекты разметки в Yandex Crowd
- •Проверять подтверждённость ответов по источникам и оценивать ошибки
- •Писать скрипты на Python и SQL для анализа разметки и метрик качества
- •Обучать и контролировать асессоров, поддерживать качество разметки
Обязательно
- •владение Python
- •знание SQL
- •знание математической статистики и теории вероятностей
- •внимательность и способность формализовать правила качества
- •навыки коммуникации и работы в команде
- •самостоятельность и готовность решать новые задачи
Будет плюсом
- •опыт работы с Толокой или другими краудсорс-платформами
- •опыт написания инструкций и запуска проектов разметки данных
