СберРуководитель направления ML Pretrain Multimodal LLM
Москва
Руководство направлением pretrain в проекте GigaChat: проектирование архитектуры флагманских мультимодальных LLM и проведение масштабных экспериментов для повышения качества и стабильности обучения. Влияние на бизнес через развитие ядра AI-инфраструктуры и выпуск следующих поколений моделей.
ГрейдLead
Стек
PythonPyTorchMoEH100TransformerRoPEattention
Задачи
- •Проектировать архитектуру флагманских моделей: attention, позиционные схемы, нормализации и инициализации
- •Развивать MoE-архитектуру: маршрутизация, балансировка экспертов и устойчивость маршрутизатора
- •Планировать и проводить scaling-эксперименты и абляции для выбора размеров модели, батча и числа экспертов
- •Работать над long-context и мультимодальной поддержкой на уровне архитектуры
- •Разрабатывать метрики и методики сравнения архитектурных изменений с baseline
- •Обеспечивать стабильность и предсказуемость обучения при больших прогонах, выявлять и исправлять артефакты и нестабильности
Обязательно
- •Отличное владение Python
- •Опыт и уверенное владение PyTorch
- •Глубокое понимание обучения нейросетей и анализа кривых потерь, норм градиентов и энтропии
- •Глубокие знания LLM-архитектур: Transformer, attention (MHA/GQA/MLA), RoPE и варианты позиционных эмбеддингов
- •Понимание нормализаций, инициализации, long-context и MoE
- •Практический опыт обучения больших моделей и проведения архитектурных абляций
- •Опыт руководства сильной технической командой и готовность писать ключевой код
