СимбирсофтPrompt-инженер
Команда развивает LLM‑фичи: проектирует промпт‑архитектуры, пайплайны и оценку качества для пользовательских сценариев. Роль важна для улучшения качества ответов, автоматизации разметки и стабильной работы моделей в продакшене.
ГрейдJunior/Middle
Опыт1–3 года
Стек
PythonJupyterSQLOpenAI APIpandasLangChainLangFuseMLflow
Задачи
- •Проектировать single‑prompt решения, цепочки промптов и сложные пайплайны
- •Управлять поведением моделей через промпт‑инжиниринг и подбор параметров без fine‑tuning
- •Прорабатывать логику диалогов и пользовательские сценарии совместно с продактами
- •Выстраивать систему оценки качества: golden‑сеты, метрики, бенчмарки и LLM‑as‑a‑judge
- •Анализировать продакшн‑логи и фидбек, находить системные проблемы и улучшать решения
- •Участвовать в организации разметки и проверке качества разметки
Обязательно
- •Практический опыт работы с LLM от 1 года
- •Уверенный Python и опыт работы с данными (Jupyter, pandas, визуализация)
- •Знание SQL и умение собирать датасеты и проверять гипотезы
- •Опыт работы с OpenAI API или аналогами
- •Понимание методов тестирования LLM: offline‑метрики, human eval, A/B‑тесты
Будет плюсом
- •Автоматическая оптимизация промптов (GEPA и др.)
- •Опыт выстраивания процессов разметки и автоматизации evaluation
- •Опыт с observability и eval‑инструментами (LangFuse, MLflow, LangSmith, DeepEval)
- •Опыт построения агентных систем и RAG‑архитектур
- •Знакомство с фреймворками оркестрации (LangChain, LangGraph)
