ЯндексАналитик-разработчик в R&D
офис, гибрид, Санкт-Петербург
Команда R&D работает над качеством речевых, переводных, мультимодальных и LLM-сервисов. Вы будете строить метрики, собирать и проверять данные, выстраивать процессы разметки и ускорять fine-tuning/RL, чтобы повысить полезность моделей для пользователей
Стек
PythonYQLTolokaNirvana
Задачи
- •Разрабатывать и внедрять сложные метрики качества моделей
- •Собирать и проверять данные для fine-tuning и RL
- •Организовывать процессы разметки с экспертами и оптимизировать разметку с помощью LLM
- •Анализировать исследования, бенчмарки и датасеты и внедрять полезные подходы
- •Развивать навыки моделей: агентность, кодогенерация, объяснение задач и работа с большими файлами
Обязательно
- •Опыт программирования на Python
- •Знание YQL
- •Опыт работы с Toloka
- •Знакомство с Nirvana
- •Знание статистики и методов оценки качества
- •Самостоятельность и аккуратность
