ЯндексАналитик-разработчик по оценке качества LLM в Яндекс R&D
офис, Москва
Команда Alice AI ищет аналитика для организации и автоматизации процесса приёмки LLM: подготовка оценочных наборов, контроль краудсорса и анализ результатов, чтобы принимать обоснованные решения о релизах и улучшать качество продукта для миллионов пользователей.
Стек
PythonSQLLLMNLP
Задачи
- •подготовка оценочных наборов и постановка задач по аспектам качества
- •настройка и запуск пайплайнов оценки моделей
- •контроль прохождения краудсорс-разметки и устранение сбоев
- •сбор и объединение сигналов оценки в итоговое заключение
- •анализ значимости изменений и объяснение расхождений между оценщиками
- •формирование отчётов по релизам и еженедельных сводок для команд
Обязательно
- •уверенная работа с Python
- •уверенная работа с SQL
- •знание математической статистики и теории вероятностей
- •умение доводить многошаговые процессы с внешними зависимостями
- •умение формулировать и защищать обоснованные заключения по данным
- •самостоятельность и готовность решать новые задачи
Будет плюсом
- •опыт оценки качества LLM (golden-sets, LLM-as-a-Judge, контроль разметки)
- •опыт на стыке офлайн-оценки и онлайн-экспериментов
- •опыт оценки агентских сценариев и мультимодальных моделей
- •опыт применения NLP, краудсорсинговых разметок и ML
