ЯндексML-аналитик в AI-команду Яндекс 360
Команда AI в Яндекс 360: вы будете строить системы оценки качества LLM и агентов, создавать пайплайны сбора и обработки текстовых и мультимодальных данных и интегрировать метрики в продакшн для контроля качества продуктовых ИИ-функций
ГрейдMiddle/Senior
Стек
PythonpandasSQLLLMRAGNLP
Задачи
- •Разрабатывать LLM-as-a-judge и eval-системы для оценки ответов моделей и агентов
- •Строить надёжные пайплайны сбора и обработки текстовых и мультимодальных данных
- •Определять и внедрять end-to-end офлайн-метрики для агентов
- •Интегрировать инструменты оценки и метрики в продакшн-процессы команды
- •Автоматизировать сбор репрезентативных выборок и контроль качества данных
Обязательно
- •Уверенное владение Python
- •Уверенная работа с SQL
- •Анализ данных с pandas или похожими инструментами
- •Знание теории вероятностей и математической статистики
- •Понимание работы ML-моделей и методов оценки их качества
- •Опыт постановки экспериментов и работы с репрезентативными выборками
- •Умение доводить аналитические пайплайны до регулярной работы
Будет плюсом
- •Оценка LLM, RAG-систем или агентов с инструментами
- •Опыт работы с экспертной или краудсорсинговой разметкой
- •Проведение онлайн-экспериментов и анализ продуктовых метрик
- •Знакомство с NLP или мультимодальными моделями
- •Опыт запуска новой аналитической или ML-практики
