СберMachine Learning Engineer (Kandinsky)
Москва
Команда строит и оптимизирует инфраструктуру для эффективного инференса больших моделей в популярных фреймворках и разворачивает воркеры для доступа к инференсу на платформах типа fal.ai и Arena.ai; это повышает пропускную способность и снижает задержки сервисов на базе моделей.
ГрейдSenior
Стек
PythonPyTorchDiffusersvLLMtorch.distributedFSDPSGLangTransformersFastVideoComfy-UI
Задачи
- •Разработка и оптимизация распределённых high-load пайплайнов инференса
- •Имплементация моделей в Diffusers, vLLM, SGLang, Transformers и других фреймворках
- •Настройка FSDP, tensor/sequence parallelism для масштабного инференса
- •Развёртывание и поддержка воркеров инференса для площадок типа fal.ai и Arena.ai
Обязательно
- •Экспертный уровень Python
- •Глубокие знания PyTorch и torch.distributed
- •Опыт масштабного инференса с FSDP, tensor/sequence/pipe parallelism
- •Опыт работы с vLLM, SGLang и Transformers
- •Понимание форматов данных bf16, fp8
- •Понимание принципов работы диффузионных моделей
- •Английский B2+
