СберOnline RL (General) / Post-Training LLM в GigaChat
Москва
Команда online RL развивает GigaChat: вы будете проектировать и внедрять post-training и online RL пайплайны, запускать эксперименты и улучшать качество модели через reproducible training и оптимизацию использования GPU; работа влияет на качество откликов и стабильность сервиса
ГрейдSenior
Стек
PythonPyTorchDeepSpeedFSDPvLLMMegatronTRL
Задачи
- •Разрабатывать и улучшать методы online RL и post-training
- •Проектировать и проводить ML-эксперименты: гипотезы, конфигурации, анализ результатов
- •Строить и поддерживать пайплайны online RL: генерация rollout'ов, сбор reward-сигналов, обновление весов
- •Обеспечивать воспроизводимость экспериментов: версионирование данных, конфигов и чекпоинтов
- •Оптимизировать distributed training и эффективность использования GPU
- •Анализировать ошибки модели и формировать целевые обучающие выборки
Обязательно
- •Отличное владение Python
- •Опыт работы с PyTorch
- •Практический опыт в LLM post-training или online RL (RLHF, DPO и т.п.)
- •Опыт проведения ML-экспериментов от начала до конца
- •Знание distributed training (Data Parallel, FSDP, DeepSpeed или аналоги)
- •Умение писать production-ready, надежный код
- •Способность разбираться в сложных системах и устранять узкие места
Будет плюсом
- •Опыт с reward-моделями и LLM-as-a-judge
- •Опыт построения сред исполнения, sandboxes и верификаторов
- •Опыт с large-scale inference и оптимизацией генерации (vLLM и подобные)
- •Понимание open-source стеков для обучения LLM (Megatron, TRL и др.)
- •Публикации или вклад в open-source
