СберРуководитель направления ML Pretrain LLM
Москва
Руководство техническим направлением ML pretrain в проекте GigaChat: проектирование архитектуры флагманских LLM, проведение масштабных экспериментов и внедрение изменений в основной трейн для роста качества моделей и стабильности обучения
ГрейдLead
Стек
PythonPyTorchNVIDIA H100MoETransformerRoPEPyTorch Distributed
Задачи
- •Разработка и эволюция архитектуры pretrain моделей GigaChat
- •Проектирование ключевых архитектурных решений: attention, позиционные схемы, нормализации и инициализации
- •Проведение scaling-экспериментов и принятие решений по размеру модели, числу экспертов и конфигам обучения
- •Анализ и устранение нестабильностей при больших прогонах и проблем маршрутизации MoE
- •Письмо ключевого кода, воспроизводимые эксперименты и адаптация исследований в продакшн
- •Руководство командой исследователей и инженеров, интеграция архитектурных решений в трейн
Обязательно
- •Отличное владение Python и PyTorch
- •Глубокое понимание обучения нейросетей и диагностики нестабильностей по метрикам и кривым
- •Глубокое знание архитектуры LLM: Transformer, attention, RoPE, нормализации, инициализации, long-context, MoE
- •Практический опыт обучения больших моделей и проведения архитектурных абляций
- •Умение ставить гипотезы, проектировать эксперименты и внедрять результаты в основной трейн
- •Опыт руководства сильной технической командой и готовность писать ключевые части системы руками
Будет плюсом
- •Опыт работы с MoE: маршрутизатор, балансировка, артефакты маршрутизации
- •Опыт проведения scaling-экспериментов и применения законов масштабирования
- •Опыт с long-context и мультимодальными расширениями LLM
- •Опыт распределённого обучения (DP/TP/PP/EP/SP) и large-scale инференса
- •Публикации или заметный open-source/research track record
- •Понимание современных open-source стеков для обучения больших LLM
