ЯндексЛид экспертной аналитики в Alice AI
офис
Роль в команде, развивающей Alice AI LLM: вы будете формировать стратегию аналитики, проектировать метрики и процессы сбора данных для повышения качества модели в узких экспертных срезах и готовить датасеты для fine-tuning и RLHF/RLAIF
ГрейдLead
Опытот 3 лет
Стек
PythonRLHF/RLAIFactive learningsynthetic dataметрики и валидацияdata labeling
Задачи
- •Формировать аналитическую стратегию и управление командой аналитиков
- •Разрабатывать комплексные метрики и методологии оценки качества в экспертных срезах
- •Организовывать процессы сбора и разметки данных для fine-tuning и RLHF/RLAIF
- •Анализировать поведение моделей и сравнивать с SOTA-подходами
- •Внедрять практики synthetic data, LLM-feedback и expert-in-the-loop
- •Автоматизировать оценки с помощью LLM и гибридных методов
Обязательно
- •Опыт управления командой аналитиков не менее трёх лет
- •Умение извлекать практический результат из данных
- •Знание математической статистики и теории вероятностей
- •Умение писать код на Python и знание алгоритмов
- •Самостоятельность и готовность решать нестандартные задачи
- •Интерес к развитию LLM и готовность глубоко погрузиться в тему
