СберAI-инженер
офис, Санкт-Петербург
Команда развивает Бизнес‑помощника на поверхности СберБизнес; вы будете строить системы метрик, эксперименты и фреймворки для оценки LLM‑агентов и промптов, чтобы повысить качество автономных сценариев и бизнес‑результаты продукта
ГрейдJunior/Middle
Опыт1.5–2 года
Стек
LangSmithRagasOpenAIAnthropicDSPyGEPA
Задачи
- •Разрабатывать систему метрик для оценки LLM‑агентов и промптов
- •Проектировать офлайн и онлайн эксперименты для проверки гипотез
- •Создавать синтетические датасеты для оценки моделей
- •Внедрять фреймворки оценки (Ragas, LangSmith, DSPy, GEPA)
- •Переводить бизнес‑критерии в измеримые метрики
- •Давать чёткий аргументированный фидбек аналитикам и разработчикам
Обязательно
- •Опыт с LLM: коммерческая разработка или оценка решений на базе open‑source моделей или OpenAI, Anthropic — 1.5–2 года
- •Глубокое понимание техник Prompt Engineering (Few‑shot, Chain‑of‑Thought, ReAct)
- •Практический опыт с фреймворками оценки генеративных систем (Ragas, LangSmith, DSPy, GEPA)
- •Знание классических NLP‑метрик (BLEU, ROUGE, BERTScore, F1) и основ математической статистики
- •Опыт создания и использования AI‑агентов (например GigaChat, Kandinsky и аналоги)
