СберML-инженер (Online RL) / Post-Training LLM
Москва
Команда online RL развивает GigaChat: вы будете внедрять методы post-training и online RL, проектировать эксперименты и строить надёжные пайплайны обучения, чтобы улучшать качество модели и масштабировать результаты в проде
ГрейдSenior
Стек
PythonPyTorchDeepSpeedFSDPRLHFDPOData ParallelvLLMTRL
Задачи
- •Разрабатывать и улучшать методы online RL и post-training
- •Проектировать и проводить ML-эксперименты: гипотезы, конфигурации, анализ результатов
- •Строить и поддерживать пайплайны обучения и воспроизводимость экспериментов
- •Собирать и интегрировать reward-сигналы и верификаторы
- •Оптимизировать эффективность и throughput при распределённом обучении
- •Анализировать ошибки модели и формировать целевые обучающие выборки
Обязательно
- •Отличное владение Python и PyTorch
- •Практический опыт в LLM post-training (RLHF, online RL, DPO или смежное)
- •Опыт проведения ML-экспериментов от начала до конца
- •Понимание distributed training: Data Parallel, FSDP, DeepSpeed или аналоги
- •Умение писать чистый production-ready код
- •Способность разбираться в сложных системах и устранять узкие места
Будет плюсом
- •Опыт работы с reward-моделями и LLM-as-a-judge
- •Опыт построения сред исполнения, sandboxes и верификаторов
- •Опыт оптимизации large-scale inference (vLLM, Sglang и др.)
- •Понимание open-source стеков для обучения LLM (Verl, Megatron, TRL)
- •Публикации или вклад в open-source, сильный прикладной трек-рекорд
