СберРуководитель направления Online RL (STEM) / Post-Training LLM в команду GigaChat
Москва
Команда GigaChat ищет инженера для разработки online RL и post-training процессов: проектирования экспериментов, пайплайнов обучения и инфраструктуры. Роль важна для стабильного роста качества LLM и быстрой валидации новых подходов в продакшне
ГрейдLead
Стек
PythonPyTorchDistributed trainingDeepSpeedRLHFonline RLDPOLLMData ParallelFSDP
Задачи
- •разрабатывать и улучшать методы online RL и post-training
- •проектировать и проводить эксперименты: формулировать гипотезы, подбирать конфигурации, анализировать результаты на уровне причин
- •строить и поддерживать пайплайны обучения: генерация rollout'ов, сбор reward-сигналов, обновление весов
- •обеспечивать воспроизводимость экспериментов: версионирование данных, конфигов и чекпоинтов, контроль деградаций
- •оптимизировать throughput и эффективность GPU: distributed training, параллелизм, профилирование
- •выстраивать интеграцию между моделью, средами исполнения, верификаторами и reward-моделями
Обязательно
- •отличное владение Python
- •опыт разработки на PyTorch
- •практический опыт в LLM post-training (RLHF, online RL, DPO или смежные)
- •опыт проведения ML-экспериментов от постановки гипотезы до анализа и выводов
- •понимание distributed training: Data Parallel, FSDP, DeepSpeed или аналоги
- •умение писать clean, production-ready код
- •способность разбираться в сложных системах и устранять узкие места
