ЯндексРуководитель ML-команды системных промптов Alice AI
Руководитель команды алайнмента: задаёте технический курс по управляемости LLM, превращаете исследовательские гипотезы в решения для релизной модели Alice AI и обеспечиваете их надёжную оценку и интеграцию для улучшения поведения модели
ГрейдLead
Стек
LLMInstruction tuningReward modelsОценка поведения моделейВоспроизводимые ML-пайплайныML-эксперименты
Задачи
- •Формирование технического курса и выбор ключевых гипотез
- •Развитие методов обучения, данных и reward-моделей для управляемости
- •Постановка воспроизводимых экспериментов и анализ поведения модели
- •Разработка требований и взаимодействие с командой аналитики по оценке качества
- •Интеграция подтверждённых результатов в релизную модель
- •Техническое руководство командой и перевод исследований в продуктовые решения
Обязательно
- •Глубокое понимание устройства современных LLM, instruction tuning и методов алайнмента
- •Опыт руководства техническим развитием ML-направления или сложного исследовательского проекта
- •Умение связывать продуктовые цели, гипотезы и метрики качества
- •Построение воспроизводимого цикла ML-экспериментов и принятие решений по их результатам
- •Умение проектировать ML-системы и оценивать применимость новых подходов
- •Умение объяснять сложные решения и договариваться со смежными командами
Будет плюсом
- •Опыт работы с instruction following или controllability языковых моделей
- •Опыт работы с оценкой поведения LLM или reward-моделями
