СимбирсофтPrompt-инженер
Команда разрабатывает LLM‑фичи и диалоговые сценарии для продуктовых сервисов; вы будете проектировать промпт‑архитектуру, ставить качество и метрики, внедрять пайплайны без fine‑tuning, чтобы улучшать качество ответов и пользовательский опыт
ГрейдMiddle/Senior
Опытот 3 лет
Стек
PythonLangChainSQLOpenAI APIJupyterpandasLangFuseMLflowLangSmithDeepEvalLangGraph
Задачи
- •Проектировать архитектуру промпт‑решений, цепочки промптов и сложные пайплайны
- •Настраивать поведение моделей через промпт‑инжиниринг и параметры контекста без fine‑tuning
- •Прорабатывать логику диалогов и пользовательские сценарии совместно с продактами
- •Выстраивать систему оценки качества: golden‑сеты, валидации, метрики и бенчмарки
- •Анализировать продакшн‑логи и пользовательский фидбек и устранять системные проблемы
- •Организовывать и участвовать в разметке данных, писать гайды и проверять результаты
Обязательно
- •Практический опыт работы с LLM от 3 лет
- •Уверенный Python и опыт работы с данными (Jupyter, pandas, визуализация)
- •Знание SQL и умение собирать датасеты и проверять гипотезы
- •Опыт работы с OpenAI API или аналогами
- •Понимание методов тестирования LLM: регресс‑проверки, offline‑метрики, human eval, A/B
- •Опыт построения системы оценки качества: golden‑сеты, валидационные выборки, метрики и бенчмарки, LLM‑as‑a‑judge
Будет плюсом
- •Автоматическая оптимизация промптов (GEPA и другие подходы)
- •Опыт выстраивания процессов разметки и автоматизации evaluation
- •Опыт работы с observability и eval‑инструментами (LangFuse, MLflow, LangSmith, DeepEval)
- •Опыт построения агентных систем и RAG‑архитектур
- •Знакомство с фреймворками оркестрации (LangChain, LangGraph или аналоги)
