СберData Scientist (NLP / Prompt Engineering)
Москва
Команда разрабатывает AI‑агентов для автоматизации обработки текстовых и визуальных документов. Вы будете развивать промпты, RAG/эмбеддинги и оценочные пайплайны для повышения качества и стабильности агентных решений в enterprise‑сценариях.
ГрейдSenior
Опыт3–6 лет
Стек
PythonRAGэмбеддингиOpen‑source LLMtool callingprompt engineeringevaluation metrics
Задачи
- •разрабатывать и эволюционировать системные и ролевые промпты, few‑shot и схемы рассуждения
- •строить пайплайны версионирования и оффлайн‑оценки промптов (golden set, side‑by‑side, LLM‑as‑judge)
- •проектировать решения классификации и маршрутизации документов
- •настраивать RAG‑пайплайны: chunking, выбор и тюнинг эмбеддингов, retrieval и rerank
- •оценивать качество поиска и LLM‑решений с использованием метрик и eval‑наборов
Обязательно
- •опыт в Data Science / NLP / LLM от 5 лет
- •опыт prompt engineering на продакшн‑задачах
- •понимание tool calling / function calling
- •понимание RAG‑архитектур
- •опыт классификации текстов и документов
- •уверенный Python для экспериментов и скриптов
- •владение eval‑наборами и метриками (precision, recall) по кейсам
Будет плюсом
- •опыт работы с эмбеддингами: выбор модели, fine‑tune, contrastive learning, оценка retrieval
- •опыт пайплайнов эволюции промптов (DSPy, GePA, Langfuse, PromptLayer)
- •опыт с LangChain / LangGraph / LlamaIndex на уровне логики агента
- •опыт в доменах: банки, комплаенс, документооборот, юридические тексты
- •опыт LoRA / SFT
- •опыт CV и мультимодальных моделей
