ЯндексTeam Lead в команду ML-инфраструктуры R&D
Команда строит инфраструктуру для обучения LLM и VLM, которая обеспечивает эффективное использование вычислительных ресурсов и надежность процессов обучения. Роль фокусируется на оптимизации RL-инфраструктуры, диагностике и повышении отказоустойчивости для продакшн-обучения моделей
ГрейдLead
Стек
PythonPyTorchGPU NVIDIACUDAtorch.distributedTritonC++
Задачи
- •Оптимизация доставки и хранения данных для тренировочных задач
- •Улучшение коммуникаций между блоками распределённого обучения
- •Разработка и развитие инструментов диагностики инфраструктурных проблем
- •Реализация мер по повышению отказоустойчивости и устойчивости к сбоям
- •Исследование и внедрение новых подходов для RL-инфраструктуры
Обязательно
- •Знание Python и опыт системного программирования, разработки библиотек или фреймворков
- •Опыт работы с PyTorch и torch.distributed
- •Понимание подходов параллелизации: Data/Tensor/Pipeline/Expert Parallelism
- •Понимание задач эксплуатации больших моделей (LLM) и MLOps-вызовов
- •Умение эффективно работать в команде и передавать знания
Будет плюсом
- •Опыт создания инфраструктуры обучения ML-моделей
- •Внедрение и оптимизация RL-решений
- •Опыт работы с библиотеками инференса и RL-обучения для LLM
- •Опыт работы с GPU NVIDIA, CUDA или Triton
- •Знание C++ и низкоуровневой оптимизации
