LLM Ops Engineer
Команда внутренней разработки строит автоматизации и сервисы для поддержки клиентов. Роль предполагает проектирование и поддержку LLM-стека, интеграций RAG и agent-архитектур, обеспечение качества моделей и эксплуатацию продакшн-сервисов
ГрейдMiddle/Senior
Опытот 3 лет
Стек
GoPostgreSQLKafkaMongoDBPythonOpenSearchDocker
Задачи
- •проектировать и строить LLM-стек: agent-архитектура, tool-use, skills/scenarios framework
- •оценивать готовые решения и принимать build-vs-adopt решения (Dify/OpenSearch и т.п.)
- •разрабатывать и поддерживать LLM-интеграции: RAG, retrieval, embeddings, промпты и agent-пайплайны
- •проектировать систему скилов и сценариев для критичных операций (финансы, авиабилеты)
- •строить LLMOps-процессы: версионирование моделей и промптов, CI/CD, мониторинг качества и A/B
- •дежурить и поддерживать продакшн-сервисы
Обязательно
- •коммерческий опыт разработки на Go или Python от 3 лет
- •опыт эксплуатации LLM/ML-систем в продакшне (мониторинг качества, дрифт, evals)
- •опыт с Kafka
- •опыт с MongoDB и PostgreSQL
- •опыт с LLM-интеграциями: RAG, retrieval, embeddings, построение промптов, agent-архитектуры
- •опыт с контейнеризацией (Docker) и эксплуатацией продакшн-сервисов
Будет плюсом
- •опыт с LLMOps-платформами (LangFuse, LangSmith, prompt registry, tracing, observability)
- •опыт с оркестраторами LLM-пайплайнов (Dify, LangGraph или аналоги)
- •построение golden sets и LLM eval в CI для отслеживания деградации
- •опыт с ClickHouse, OpenSearch или Trino