ЯндексАналитик-разработчик в команду качества генеративных моделей
Команда качества Алисы AI: вы будете развивать метрики и экспертные срезы, анализировать ответы LLM на сложные темы и строить инструменты и пайплайны для разметки и оценки качества, чтобы улучшать релевантность и полезность ответов для пользователей
Стек
PythonSQLNeural networksLLM
Задачи
- •Развивать и верифицировать метрики качества модели на экспертных срезах
- •Анализировать генеративные ответы и формализовать критерии полезности и точности
- •Работать с экспертами для преобразования их знаний в разметку и правила оценки
- •Разрабатывать процессы и инструменты для ускорения и упрощения разметки
- •Запускать новые пайплайны и предлагать улучшения в инфраструктуре разметки
Обязательно
- •Уверенное владение Python
- •Уверенная работа с SQL
- •Знание математической статистики и теории вероятностей
- •Умение формализовать и структурировать требования заказчиков
- •Самостоятельность и готовность решать новые задачи без готовых решений
- •Умение аргументированно отстаивать и обсуждать решения
Будет плюсом
- •Опыт написания инструкций и запуска проектов разметки данных
- •Опыт работы с машинным обучением и нейронными сетями
- •Навыки создания точных промптов для генеративных нейросетей
