СберSenior DL/LLM engineer (Multimodal: Video + Audio) в GigaChat
Москва
Core‑команда отвечает за ML для понимания аудио в Сбере; задача — улучшать мультимодальные возможности GigaChat и обучать модели на vision+audio и video+audio диалогах длительностью 90+ минут, повышая качество в сложных аудио‑ и визуальных контекстах
ГрейдSenior
Стек
PythonPyTorchTransformerDDP/FSDPmixed precisionRoPEasynciomultiprocessing
Задачи
- •Проведение экспериментов по обучению Vision/Audio/Video LLM
- •Оптимизация ML‑инфраструктуры для обучения на длинных мультимодальных контекстах
- •Формулирование и проверка гипотез по улучшению качества LLM на видео
Обязательно
- •Сильный опыт в DL‑инженерии, желательно с LLM
- •Глубокое знание PyTorch, включая DDP/FSDP
- •Понимание distributed training и efficient deep learning (DP/TP/PP/EP/SP, checkpointing, offloading, профилирование)
- •Знание архитектуры LLM: Transformer, attention, RoPE, long context, MoE
- •Уверенный Python для production: asyncio, multiprocessing, профилирование и отладка больших систем
Будет плюсом
- •Опыт обучения мультимодальных LLM
- •Опыт снижения стоимости контекста при обработке видео
- •Опыт расширения контекста LLM
- •Знание RL‑подходов для обучения моделей (RLHF/RLVR, PPO/GRPO/DPO)
- •Опыт построения бенчмарков с LLM‑as‑a‑judge
