ЯндексСтарший LLM-разработчик в команду претрейна Alice AI LLM
гибрид
Команда отвечает за скорость и стабильность претрейна Alice AI LLM: развиваем фреймворк для распределённого обучения на сотнях GPU, ускоряем базовые модели и делаем их доступными для сервисов и open source
ГрейдSenior
Стек
PythonPyTorchCUDATritonYaFSDPFSDP
Задачи
- •Ускорение и повышение стабильности претрейна LLM
- •Реализация и оптимизация схем распределённого обучения (FSDP, параллелизм)
- •Разработка и оптимизация CUDA/Triton-ядр и низкопрецизионных вычислений
- •Улучшение работы с очень длинным контекстом
- •Разработка единой кодовой базы для обучений от претрейна до алаймента
- •Проведение исследований и воспроизведение новых методов из статей
Обязательно
- •Опыт обучения трансформерных моделей на PyTorch с нуля
- •Умение писать качественный код и применять инженерные практики
- •Понимание устройства современных LLM и их обучающих процессов
- •Готовность работать с распределёнными системами и масштабными экспериментами
Будет плюсом
- •Опыт в распределённом обучении: FSDP и контекстный параллелизм
- •Разработка на CUDA/Triton и способность реализовать backward для Flash Attention
- •Сильная математическая подготовка и понимание понятий вроде многообразий
