СберDeep Learning/CUDA Engineer (GigaChat)
Москва
Команда инференса GigaChat развивает продакшн-движок моделей и мультимодальных архитектур, делая их быстрыми и надёжными. Работа — оптимизация CUDA-ядр, раскладка моделей по GPU/кластеру и поддержка движка под нагрузкой
ГрейдSenior
Стек
PythonCUDATensorRTvLLMKandinskyKV-cachespeculative decoding
Задачи
- •Оптимизировать и внедрять CUDA-ядра для новых архитектур
- •Разрабатывать схемы распределения модели по GPU и кластеру (tensor/pipe parallelism, scheduling)
- •Ускорять компоненты инференса: квантизация, KV-cache, speculative decoding, continuous batching
- •Профилировать производительность и устранять узкие места в ядре, памяти, сети и планировщике
- •Поддерживать продакшн-движок GigaChat под нагрузкой и обеспечивать стабильность
- •Адаптировать идеи из vLLM, TensorRT-LLM и других движков под наши архитектуры
Обязательно
- •Опыт в области глубокого обучения, включая LLM
- •Глубокое знание CUDA
- •Уверенное владение Python
- •Опыт внедрения моделей типа GigaChat или аналога в продукте
- •Навыки создания и использования AI‑агентов
