СберSenior Research Engineer (Multimodal Diffusion, Post-train)
Москва
Команда исследует и внедряет SOTA методы для инструктивного редактирования изображений и видео, синхронной генерации аудио и видео и RLHF‑тонкой настройки моделей. Роль важна для вывода на продакшн качественных мультимодальных генеративных систем
ГрейдSenior
Стек
PythonPyTorchDiffusersDDP/FSDPStable DiffusionTransformersvLLMSGLangPPODPOGRPOOPDAudioLDMMusicGen
Задачи
- •Разработка и обучение диффузионных моделей для инструктивного редактирования изображений и видео
- •Исследование архитектур для совместной генерации видео и синхронизированного аудио по текстовому промпту
- •Создание и внедрение пайплайна RLHF для тонкой настройки моделей
- •Обучение мультимодальных reward‑моделей (видео/аудио/текст)
- •Интеграция алгоритмов RL (PPO, DPO, GRPO, OPD) в диффузионный пайплайн
- •Проектирование экспериментов, анализ результатов и коллаборация с Distributed Engineers
Обязательно
- •Сильный бэкграунд в CV и генеративных моделях (Diffusion, GANs) и мультимодальном ML
- •Опыт работы с диффузионными моделями (Stable Diffusion/FLUX, Wan 2.X и пр.) и Diffusers
- •Практические знания Reinforcement Learning и RLHF
- •Уверенное владение PyTorch и навыки распределённого обучения (DDP/FSDP)
- •Умение быстро прототипировать и проводить исследования SOTA методов
- •Опыт работы с SGLang, vLLM, Transformers
Будет плюсом
- •Опыт с аудио‑генерацией (AudioLDM, MusicGen)
- •Публикации на NeurIPS/ICML/CVPR
