СберLLM Data Scientist — оценка качества GigaChat (модельные риски генеративных моделей)
Москва
Команда независимого контроля модельного риска для GigaChat и опен‑сорс моделей. Вы будете строить фреймворк валидации, бенчмарки и автоматические метрики, проводить регулярную оценку версий и формулировать выводы по рискам для релизов
ГрейдSenior
Стек
PythonPyTorchS3DockerpandasNumPyHuggingFace (transformers, datasets)vLLMSGLanginference APIGitCI/CDLinuxBash
Задачи
- •разрабатывать и поддерживать фреймворк валидации LLM и писать production‑код eval‑пайплайнов
- •создавать и актуализировать бенчмарки под ключевые сценарии и проектировать планы проверки
- •настраивать автоматизацию и CI для регулярной валидации версий моделей
- •строить LLM‑судей и автоматические метрики, калибровать их относительно человеческой оценки
- •оценивать модельный риск, формулировать условия выпуска и перечень непроверенных рисков
- •следить за новыми подходами, внедрять инструменты и лучшие практики оценки
Обязательно
- •опыт разработки production‑кода на Python (PEP8, типы, линтеры, ревью)
- •знание статистики и дизайна эксперимента (доверительные интервалы, размер выборки, проверка гипотез)
- •глубокое понимание внутренней работы трансформеров и механизмов генерации
- •опыт оценки генеративных моделей: метрики, human evaluation, LLM‑as‑a‑judge и их ограничения
- •умение оценивать цену ошибки и формулировать требования к релизу
- •готовность работать без готовой методологии и проактивность
Будет плюсом
- •опыт работы с vLLM, SGLang и inference API
- •опыт с мультимодальными моделями (изображения, аудио)
- •опыт встраивания оценки в CI/CD и построения evaluation‑harness
- •опыт работы с асессорами и контролем качества разметки
- •знание методов удешевления инференса (квантизация, PEFT/LoRA, дистилляция)
- •опыт с RAG, векторным поиском и эмбеддингами
