ЯндексАналитик в отдел аналитики и метрик Поиска
Команда по аналитике и метрикам Поиска ищет аналитика для разработки критериев и внедрения автоматической разметки на базе LLM в пайплайны обучения продакшен-моделей. Работа направлена на сокращение затрат на ручную разметку и повышение качества обучающих данных
Стек
PythonSQLLLMRAGЯндекс ЗаданияTolokaMTurk
Задачи
- •Разрабатывать количественные и качественные критерии для перехода на ML-разметку
- •Внедрять LLM-разметку в пайплайны обучения продакшен-моделей Поиска
- •Оценивать качество ML-разметки и интерпретировать метрики моделей
- •Искать точки роста в качестве разметки и предлагать улучшения (RAG, эксперты)
- •Разрабатывать принципы частичного перехода от краудсорсинга к моделям
Обязательно
- •Аналитический склад ума и опыт работы с данными
- •Уверенные навыки Python для анализа и обработки данных
- •Уверенное владение SQL для анализа данных
- •Понимание принципов работы современных языковых моделей (LLM)
- •Умение оценивать качество ML-моделей и интерпретировать метрики
- •Навыки ясного формулирования требований к инструментам и системам
Будет плюсом
- •Опыт работы с крауд-платформами (Яндекс Задания, Toloka, MTurk или аналоги)
- •Участие в разработке или настройке языковых моделей
- •Знакомство с промпт-инжинирингом для генеративных моделей
- •Опыт проектов по оптимизации процессов и сокращению расходов
- •Знание специфики разметки данных для поисковых систем
