СберSenior DL/LLM engineer (Multimodal: Video + Audio) в GigaChat
офис, гибрид, Москва
Команда ML отвечает за понимание аудио/видео в продукте GigaChat. Вы будете проводить эксперименты и оптимизировать обучение мультимодальных (vision+audio/video+audio) LLM для повышения качества на длинных диалогах и сложных контекстах
ГрейдSenior
Опыт6+ лет
Стек
PythonPyTorchTransformerDDP / FSDPdistributed trainingmixed precisionRoPEMoEasynciomultiprocessing
Задачи
- •Проводить эксперименты по обучению Vision/Audio/Video LLM
- •Оптимизировать ML‑инфраструктуру для длинных мультимодальных контекстов
- •Формулировать и проверять гипотезы по улучшению качества LLM на видео
- •Настраивать и профилировать распределённое обучение и offloading/checkpointing
- •Разрабатывать production‑код на Python для больших обучающих пайплайнов
Обязательно
- •сильный опыт в DL‑инженерии и обучении LLM желателен
- •глубокие знания PyTorch, включая DDP / FSDP
- •понимание distributed training и efficient deep learning (DP/TP/PP/EP/SP, offloading, checkpointing)
- •опыт с mixed precision и профилированием/оптимизацией обучения
- •понимание архитектуры LLM (Transformer, attention, позиционные эмбеддинги, long context, MoE)
- •уверенный Python для production (asyncio, multiprocessing, отладка больших систем)
Будет плюсом
- •опыт обучения мультимодальных LLM
- •опыт расширения и сокращения стоимости контекста при обработке видео
- •понимание RL‑подходов (RLHF, PPO, DPO)
- •опыт построения бенчмарков с LLM‑as‑a‑judge
