ASTONML Engineer
Команда Data Platform для заказчика в финтехе — разработка и сопровождение высоконагруженной платформы инференса LLM и сопутствующих сервисов. Роль фокусируется на масштабировании, качественном мониторинге генераций и интеграциях для корпоративных клиентов.
ГрейдSenior
Опыт6+ лет
Стек
PythonvLLMPostgreSQLKafkaKubernetesDockerHugging FaceTensorRT-LLM
Задачи
- •Проектирование и разработка сервисов инференса LLM
- •Реализация кэширования, батчинга и очередей запросов
- •Масштабирование и деплой в k8s/docker
- •Мониторинг качества генераций и набор метрик
- •Подготовка технической документации и архитектурных записок
Обязательно
- •опыт работы в роли ML Engineer от 6 лет
- •высшее образование
- •глубокое понимание LLM: токенизация, инференс, кэширование, батчинг, масштабирование и мониторинг
- •отличное знание Python
- •опыт работы с Kafka и PostgreSQL
- •опыт работы с Kubernetes и Docker
- •опыт с vLLM, Hugging Face или TensorRT-LLM
Будет плюсом
- •практический опыт в MLOps и обучении моделей
