СберLLM/ML Engineer (Java-first)
Москва
Команда внедряет модели обработки обратной связи в корпоративный продукт для банка: от подготовки данных до генерации рекомендаций и контроля качества. Роль отвечает за разработку интеграций, промптов и систем оценки качества, чтобы снизить риски и улучшить точность рекомендаций.
ГрейдMiddle/Senior
Опытот 3 лет
Стек
JavaREST APIJSONАсинхронные очередиПромпт‑инжинирингEval‑наборыA/B тестирование
Задачи
- •Проектирование и разработка модулей обработки обратной связи с LLM
- •Разработка интеграций через REST API: подготовка запросов и обработка ответов
- •Написание, версионирование и оптимизация промптов
- •Построение и поддержка eval‑наборов и метрик качества
- •Проведение A/B тестов промптов и параметров
- •Настройка мониторинга, отслеживания работы и контроля галлюцинаций и безопасности
Обязательно
- •Коммерческая разработка на Java от 3 лет
- •Опыт интеграции LLM в промышленные условия и понимание ограничений моделей
- •Понимание промпт‑инжиниринга и защиты от некорректных ответов
- •Опыт построения eval‑наборов и метрик качества
- •Опыт работы с REST API, JSON, ретраями и таймаутами
- •Опыт работы с безопасностью API и хранением ключей
- •Опыт с асинхронными задачами и очередями
