СберAI Researcher (Middle to Senior+) в RnD NLP (SberAI)
гибрид, Москва
Команда RnD NLP занимается исследованиями архитектур и режимов обучения для улучшения LLM. Вы будете генерировать и тестировать гипотезы, доводить лучшие идеи до PoC и inference-движка, чтобы повысить качество и эффективность моделей для продуктовых задач
ГрейдMiddle/Senior
Стек
MoEDeepSpeedFSDPMegatronMCTSmulti-node trainingGPU
Задачи
- •разбирать LLM-пайплайны и находить точки для существенного улучшения
- •формулировать research-гипотезы и проводить абляции до pretrain/post-train циклов
- •обучать, валидировать и имплементировать новые архитектуры и objectives
- •взаимодействовать с infra: оптимизировать training-фреймворки и serving для нестандартных архитектур
- •упаковывать результаты в PoC и интегрировать в inference-движок
Обязательно
- •глубокое понимание трансформеров и этапов LLM-пайплайна
- •умение писать качественный воспроизводимый ML-код
- •опыт запуска/обучения моделей в multi-GPU режиме (желательно multi-node)
- •практический опыт в каком-либо этапе построения LLM (индустриальный проект или серьёзный pet-project)
- •навык критического чтения научных статей и оценки результатов
- •умение быстро валидировать смелые гипотезы
Будет плюсом
- •опыт классического ML/NLP до эпохи больших моделей
- •публикации уровня A/A* и опыт прохождения review-цикла
- •опыт large-scale training (multi-node, FSDP/DeepSpeed/Megatron)
- •призовые места в соревнованиях типа Kaggle
