ЯндексML-разработчик в команду претрейна VLM
Команда исследует и внедряет методы претрейна визуально-текстовых моделей: архитектурные решения, рецепты данных и масштабное распределённое обучение. Цель — повысить базовую способность моделей и устойчивый прирост качества в реальных продуктовых сценариях.
ГрейдSenior
Стек
PythonPyTorchDeepSpeedMegatronFSDPPyTorch Distributed
Задачи
- •Развивать претрейн мультимодальных моделей и исследовать архитектурные рецепты
- •Проектировать и проводить эксперименты для проверки гипотез и оценки улучшений
- •Работать с петабайтами мультимодальных данных и формировать масштабируемые пайплайны данных
- •Изучать scaling laws и оптимизировать составы доменов/форматов обучающих данных
- •Оптимизировать large-scale распределённое обучение: профилирование, стабильность и эффективность GPU-ресурсов
Обязательно
- •Опыт в CV и NLP и понимание устройства современных LLM/VLM
- •Понимание принципов распределённого обучения больших моделей
- •Умение формулировать исследовательские гипотезы и проверять их экспериментально
- •Аккуратная постановка экспериментов и корректное сравнение подходов
- •Умение писать рабочий, понятный код и доводить идеи до воспроизводимого результата
Будет плюсом
- •Опыт обучения больших моделей или работы с крупными DL-системами
- •Опыт с pretrain-пайплайнами для LLM или VLM
- •Знание Megatron, DeepSpeed, FSDP или PyTorch Distributed
