СберSenior ML Engineer (GenAI Data Governanace)
Москва
Команда NLP строит продукты на LLM и self‑service для бизнеса. Вы будете развивать пайплайны RAG, judge-модели и механизмы детекции галлюцинаций, чтобы улучшать качество ответов и снижать стоимость решений для пользователей и бизнеса
ГрейдSenior
Опыт5+ лет
Стек
PythonFastAPIPostgreSQLVector DBRAGLoRAQLoRASFTDPO
Задачи
- •Проектирование и калибровка judge‑пайплайнов и эталонной разметки
- •Построение RAG‑поиска: чанкинг, гибридный поиск и реранкинг
- •Разработка регресс‑тестов знаний и мониторинга качества при изменениях моделей/промптов
- •Детекция и верификация галлюцинаций с привязкой к источникам
- •Дообучение/дистилляция моделей для снижения задержки и стоимости
- •Сборка мультиагентных пайплайнов с оркестрацией и контролем отказов и стоимости
Обязательно
- •Высшее образование в математике/физике/информатике или data science
- •5+ лет в ML, из них не меньше 1.5 лет с LLM в проде
- •Опыт RAG в продакшене с метриками качества и историей улучшений
- •Практика fine‑tuning: SFT, LoRA/QLoRA и понимание DPO и когда дообучение не нужно
- •Опыт построения и калибровки LLM‑as‑judge и методов обнаружения ошибок judge
- •Умение писать production‑код на Python: тесты, ревью, код‑стайл
Будет плюсом
- •Опыт python‑бэкенда: FastAPI и асинхронность
- •Опыт с очередями и PostgreSQL
- •Опыт с векторными хранилищами (vector DB)
- •Графы знаний и онтологии
- •NLI и извлечение фактов, работа с разметчиками
- •Публикации, доклады, вклад в open source
