СберMiddle AI Infrastructure Engineer
Москва
Команда развивает высокопроизводительную LLM-инфраструктуру для продакшн-инференса. Вы будете масштабировать и оптимизировать инференс-сервисы, улучшать шлюзовой слой, внедрять мониторинг GPU и обеспечивать доступность сервисов под высокими нагрузками.
ГрейдMiddle
Опытот 3 лет
Стек
PythonvLLMKubernetesCUDASGLangTGITritonLiteLLMShepherd Model GatewayOpenWebUIPrometheusGrafanaDockerNVIDIA driversLinux
Задачи
- •Разработка и оптимизация LLM-инференс-сервисов (vLLM/SGLang) под нагрузку
- •Развитие шлюзового слоя: роутинг, rate limiting и балансировка между моделями
- •Оптимизация распределения ресурсов между GPU-нодами и параметров инференса
- •Внедрение и поддержка мониторинга метрик GPU и производительности моделей
- •Оперативное сопровождение инцидентов и обеспечение высокой доступности сервисов
Обязательно
- •от 3 лет в DevOps/SRE или системной инженерии
- •Практический опыт с LLM-сервингом: vLLM, SGLang, TGI, Triton
- •Глубокие знания Linux, контейнеризации (Docker) и оркестрации (Kubernetes)
- •Опыт работы с GPU-инфраструктурой: NVIDIA drivers, CUDA, Docker с доступом до GPU
- •Навыки программирования на Python или Go для автоматизации
- •Опыт работы с мониторингом: Prometheus и Grafana
- •Понимание работы нейросетей на системном уровне
Будет плюсом
- •Опыт запуска моделей на нескольких GPU (data/tensor параллелизм)
- •Опыт работы со шлюзами LLM сервинга вроде LiteLLM/Shepherd
- •Английский язык для чтения документации
