ЯндексЛид ML-аналитики в Нейросервисы
офис
Команда Нейросервисов развивает AI‑продукты (Нейроюрист, Алиса Про, Нейросаппорт и др.). Вы будете выстраивать аналитическую функцию качества моделей: метрики, процессы evals и разметки, платформенные решения и команду, чтобы ускорять и обезопасить изменения в продуктах
ГрейдLead
Стек
PythonLLM‑технологииSQLevals
Задачи
- •Измерять качество моделей и AI‑сценариев
- •Строить систему метрик качества для AI‑сервисов
- •Выстраивать процессы разметки, evals и автоматической проверки качества (LLM‑as‑a‑judge)
- •Поддерживать и переносить лучшие практики между несколькими сервисами
- •Нанимать и развивать команду ML‑аналитики
Обязательно
- •Руководили аналитиками, ML‑аналитиками или quality‑направлениями
- •Работали с офлайн‑ и онлайн‑оценкой качества моделей
- •Умеете строить метрики качества для AI‑систем
- •Понимаете ограничения классических продуктовых метрик для генеративных моделей
- •Уверенно владеете SQL и Python
- •Знаете, как устроены процессы разметки, evals и проверки качества моделей
- •Можете самостоятельно проводить исследования и разбираться в сложных неоднозначных задачах
Будет плюсом
- •Опыт работы с LLM‑as‑a‑judge, synthetic data или автоматическими evals
- •Построение ML‑метрик или платформ оценки качества
- •Опыт с AI‑ассистентами, RAG‑системами или агентами
- •Понимание специфики B2B/enterprise‑AI‑продуктов
- •Опыт в быстрорастущих AI‑командах или стартапах
- •Навыки продуктовой аналитики и выстраивания процессов
