СберAI Researcher (Middle to Senior+) в RnD NLP (SberAI)
Москва
Команда RnD NLP работает над архитектурными и обучающими инновациями для масштабных языковых моделей. Вы будете формулировать гипотезы, проводить pretrain/post-train эксперименты, доводить идеи до PoC и интеграции в инференс-движки, повышая качество и эффективность моделей
ГрейдMiddle/Senior
Стек
PythonTransformersDeepSpeedMoEMegatronFSDP
Задачи
- •Анализ существующих LLM-пайплайнов и поиск точек для масштабного улучшения
- •Формулирование research-гипотез и проведение абляций до полноценных pretrain/post-train экспериментов
- •Обучение, валидация и имплементация новых архитектур и objective-функций
- •Доведение результатов до PoC и интеграция в инференс-движки и пилотные проекты
- •Публикация результатов на профильных конференциях (опционально)
Обязательно
- •Глубокое понимание современных трансформеров и стадий LLM-пайплайна
- •Умение писать качественный и воспроизводимый ML-код
- •Опыт запуска и обучения моделей в multi-GPU режиме, предпочтительно multi-node
- •Практический опыт на каком-то этапе построения LLM (индустриальный или серьёзный pet-project)
- •Хорошая насмотренность по литературе и критическое чтение научных статей
- •Умение быстро валидировать смелые гипотезы
Будет плюсом
- •Опыт в классическом ML/NLP до эпохи больших моделей
- •Публикации уровня A/A* и опыт прохождения review-цикла
- •Опыт large-scale training (multi-node, FSDP/DeepSpeed/Megatron)
- •Призовые места в соревнованиях типа Kaggle
