СберРуководитель направления ML Pretrain Multimodal LLM
Москва
Руководитель технического направления, который будет формировать архитектуру и законы масштабирования pretrain-моделей GigaChat, проводить абляции и внедрять решения в основной трейн на кластерах для повышения качества моделей
ГрейдLead
Стек
PythonPyTorchH100Distributed trainingMoERoPETransformer
Задачи
- •Разрабатывать архитектуру флагманских pretrain-моделей и ключевые архитектурные решения
- •Планировать и проводить scaling-эксперименты, определять размеры модели, число экспертов и параметры обучения
- •Развивать и отлаживать MoE: маршрутизацию, балансировку и устойчивость маршрутизатора
- •Работать над long-context и мультимодальными решениями на уровне архитектуры
- •Писать ключевой код, воспроизводимые эксперименты и конфиги
- •Руководить командой исследователей и инженеров, внедрять архитектурные идеи в основной трейн
Обязательно
- •Отличное владение Python и PyTorch
- •Глубокое понимание обучения нейросетей: анализ кривых потерь, норм градиентов и энтропии
- •Глубокое понимание архитектуры LLM: Transformer, attention, RoPE и варианты позиционных схем, нормализации, инициализации
- •Практический опыт обучения больших моделей и проведения архитектурных абляций
- •Умение ставить гипотезы, проектировать эксперименты и принимать решения по результатам
- •Опыт руководства технической командой и готовность писать ключевые части системы руками
Будет плюсом
- •Опыт работы с MoE: маршрутизатор, балансировка, артефакты маршрутизации
- •Опыт проведения scaling-экспериментов и работы с законами масштабирования
- •Опыт с long-context и мультимодальными расширениями LLM
- •Опыт распределённого обучения (DP/TP/PP/EP/SP) и large-scale инференса
- •Публикации, open-source вклад или сильный research track record
- •Знакомство с современными open-source стеками для обучения больших LLM
