ЯндексDL-разработчик в команду исследования архитектуры YandexGPT
гибрид, удалёнка, офис
Команда исследует архитектуры и претрейн базовых моделей YandexGPT и внедряет их в продукты. Роль фокусируется на реализации и экспериментировании с трансформерами, оптимизации распределённого обучения на GPU-кластере и повышении качества и эффективности моделей.
ГрейдSenior
Стек
PythonPyTorch
Задачи
- •Воспроизведение и улучшение мировых наработок по обучению LLM
- •Реализация и исследование архитектур трансформеров и составных частей обучения
- •Разработка и тестирование оптимизаторов, эксперименты с Mixture of Experts и attention
- •Ускорение и оптимизация распределённого обучения на GPU, профилирование и устранение бутылочных мест
Обязательно
- •Опыт обучения и реализации трансформерных моделей на PyTorch
- •Понимание устройства современных LLM
- •Опыт распределённого обучения и знаний алгоритмов параллелизма
- •Крепкая база в машинном обучении
Будет плюсом
- •Опыт разработки на CUDA или Triton
- •Умение выявлять и устранять проблемы при обучении на GPU (профилирование, оптимизация)
- •Знакомство с FSDP и ZeRO и концепциями Model Parallelism
