СберSenior DevOps LLM (Инвестиционный бизнес)
гибрид, Москва
Команда развивает инвестиционную платформу для сопровождения сделок; вы будете строить и поддерживать LLM‑инференс, инфраструктуру агентов и observability для высоконагруженных микросервисов, чтобы обеспечить надёжность и требуемую производительность сервисов
ГрейдSenior
Стек
PythonFastAPIPostgreSQLKubernetesDockerIstioKafkavLLMTGITensorRT-LLMGrafanaPrometheusJaegerOpenTelemetryJenkinsGitLab CIHelmLokiClickHouseGit
Задачи
- •Развёртывать и конфигурировать Open Source LLM на собственных мощностях
- •Настраивать и оптимизировать инференс‑сервера (vLLM, TGI, TensorRT-LLM, llama.cpp) и GPU (батчинг, quantization, управление VRAM)
- •Реализовывать health checks, алерты и мониторинг производительности через Grafana/Prometheus/OpenTelemetry
- •Настраивать сквозную трассировку (trace_id) и корреляцию логов/трейсов для быстрого расследования инцидентов
- •Интегрировать Prompt Hub, создавать системные промпты и описания агентов, интегрировать агентов с внешними API и базами данных
- •Автоматизировать CI/CD пайплайны, E2E‑тесты и доставку обновлений инфраструктуры и сервисов
Обязательно
- •опыт развёртывания и сопровождения Open Source LLM в продакшене
- •практическое знание инструментов инференса: vLLM, TGI или аналогичных (TensorRT-LLM и пр.)
- •понимание внутренних механизмов инференса: KV-cache, continuous batching, quantization (GGUF, GPTQ, AWQ)
- •уверенное владение Python для сервисов и интеграций
- •экспертный опыт с контейнеризацией Docker
- •опыт управления кластерами Kubernetes и Helm
- •опыт построения observability‑стека: Grafana, Prometheus, Jaeger, OpenTelemetry
Будет плюсом
- •опыт с фреймворками агентов: LangChain, LlamaIndex, AutoGen или собственные решения
- •знание подходов fine‑tuning и evaluation LLM: LoRA/QLoRA, Axolotl, Unsloth, DeepEval, LM Evaluation Harness
- •опыт управления GPU‑инфраструктурой (NVIDIA A100/H100, L40S, MIG, vGPU)
- •администрирование Linux и работа с драйверами NVIDIA
- •опыт работы с LangChain/LlamaIndex/AutoGen в продакшне
