СберSenior Research Engineer (LLM Pretraining)
Москва
Работа в команде pretrain для GigaChat: вы будете проектировать и внедрять рецепты обучения и инженерный контур для масштабных LLM, улучшая скорость, надёжность и воспроизводимость больших прогонов на кластерах; влияние результатов напрямую идёт в основной тренинг
ГрейдSenior
Стек
PythonPyTorchMoEРаспределённое обучениеH100/B200CI/CDПрофилирование
Задачи
- •Развитие направления от постановки задач до внедрения в основной тренинг
- •Проектирование и проведение экспериментов и абляций, формулировка гипотез и выводов
- •Диагностика нестабильностей: анализ кривых потерь, нормы градиентов, NaN, коллапс энтропии
- •Работа с MoE: маршрутизация, балансировка нагрузки, артефакты маршрутизации
- •Поддержка больших прогонов и чекпоинтов, снижение риска регрессий
- •Повышение воспроизводимости: тесты, конфиги, ревью и автоматизация CI/CD
Обязательно
- •Глубокое понимание процесса обучения нейросетей и умение анализировать кривые потерь и поведение градиентов
- •Практический опыт обучения моделей на PyTorch (не только инференс)
- •Умение самостоятельно вести направление и доводить исследования до внедрения
- •Опыт проектирования и внедрения рецептов обучения: оптимизаторы, lr-schedule, нормализации, точность вычислений
- •Обеспечение безопасного масштабирования при архитектурных изменениях
- •Инженерная культура: профилирование, тестирование, воспроизводимость экспериментов
Будет плюсом
- •Опыт со смешанной точностью и распределённым обучением
- •Опыт построения систем оценки моделей и инфраструктуры экспериментов
