ЯндексАналитик-разработчик в службу AI-оптимизации
офис, гибрид, Санкт-Петербург
Команда разрабатывает и валидацию поисковых сигналов и методики оценки качества ранжирования с использованием автоматизации и LLM. Задача роли — проектировать статистически корректные метрики и переводить офлайн-исследования в онлайн‑эксперименты для улучшения ранжирования.
ГрейдMiddle/Senior
Стек
PythonpandasSQLLLMNumPyA/B-testing
Задачи
- •Разрабатывать методологии замены ручной разметки автоматикой и LLM
- •Создавать бенчмарки и методики валидации качества сигналов
- •Оценивать качество LLM как «судьи» и выявлять системные ошибки
- •Проектировать офлайн и онлайн эксперименты для анализа влияния изменений на ранжирование
- •Готовить и запускать A/B‑тесты и анализировать результаты в поисковом трафике
Обязательно
- •Уверенные навыки SQL
- •Опыт программирования на Python (pandas, NumPy)
- •Понимание метрик качества ML (precision, recall, ndcg) и LLM
- •Опыт проектирования экспериментов и проверки статистической значимости
- •Методологическое мышление для разработки новых способов измерения
- •Критическое мышление и декомпозиция сложных задач ранжирования
