Аналитик-разработчик в LLM Блендер
офис, гибрид
Команда офлайн‑KPI в поиске Яндекса: вы будете развивать офлайн‑метрику релевантности тематических блоков, собирать бенчмарк и строить аналитические модели для оценки качества выдачи, чтобы улучшать ранжирование и пользовательские метрики поиска.
ГрейдSenior
Задачи
- •Разрабатывать и улучшать офлайн‑метрику ранжирования тематических блоков
- •Собирать и поддерживать бенчмарк эталонных оценок ранжирования
- •Строить и поддерживать аналитические модели оценки качества поиска
- •Собирать «корзины» запросов и дашборды мониторинга качества
- •Проводить исследования причин проблем и предлагать способы их исправления
Обязательно
- •Опыт руководства или менторства в аналитике
- •Умение выстраивать стабильные прозрачные рабочие процессы
- •Глубокие знания математики
- •Навыки проведения исследований и формализации метрик
Будет плюсом
- •Знания в области машинного обучения и опыт внедрения моделей
- •Участия и победы в олимпиадах по математике/физике/программированию
- •Чтение и понимание профильных текстов на английском языке