ЯндексАналитик-разработчик в команду ML-аналитики Алисы
Команда ML-аналитики Алисы: вы будете строить системы оценки качества и пайплайны для обработки текстовых и мультимодальных данных, чтобы автоматически измерять и повышать качество ответов ассистента и встраивать решения в продакшен
ГрейдMiddle/Senior
Стек
PythonPandasSQLNLPMLLLM
Задачи
- •Разработка и внедрение системы автоматической оценки ответов моделей (LLM-as-a-judge)
- •Создание и поддержка пайплайнов сбора и обработки текстовых и мультимодальных данных
- •Разработка end-to-end офлайн-метрик и критериев качества
- •Интеграция инструментов оценки и метрик в продакшен-процессы команды
- •Автоматизация процессов обеспечения актуальности и качества данных
Обязательно
- •Свободное владение Python и умение писать продакшен-аналитический код
- •Опыт работы с SQL и использование Pandas
- •Знание теории вероятностей и математической статистики
- •Навыки анализа данных и построения эффективных процессов обработки данных
- •Умение видеть продукт/проект в целом и оформлять инструкции
- •Инициативность и готовность к самостоятельному поиску решений
Будет плюсом
- •Опыт работы с NLP
- •Опыт с краудсорсинговыми разметками
- •Опыт в ML и оценке моделей
