СберGenAI Evaluation Engineer (Риски)
Москва
Команда независимой оценки качества генеративных моделей Сбера — проверяет GigaChat, Kandinsky, GigaCode и другие до релиза. Разрабатываете методики, метрики и автоматические фреймворки оценки, чтобы обеспечить достоверность качества и снизить риски для продукта и пользователей
ГрейдSenior
Стек
PythonPyTorchS3DockerpandasNumPyHuggingFacevLLMSGLangинференс-APIGitCI/CDLinuxBash
Задачи
- •Придумывать методы измерения качества моделей: что измерять, на каких данных и как сравнивать
- •Отвечать за достоверность метрик и выявлять источники искажения измерений
- •Анализировать причины ошибок и формулировать рекомендации для команд разработки
- •Разрабатывать автоматические LLM/VLM-судьи и eval-пайплайны
- •Развивать общие фреймворки и бенчмарки для оценки внутри банка
Обязательно
- •Умение проводить технический и научный ресерч
- •Статистика и дизайн эксперимента (доверительные интервалы, размер выборки, проверка гипотез)
- •Понимание современных AI-агентов и агентных систем
- •Понимание внутреннего устройства генеративных моделей (трансформеры, внимание, диффузии, токенизация)
- •Опыт оценки генеративных моделей: метрики, бенчмарки, human evaluation, Model-as-a-judge
- •Продуктовое мышление: связывать тесты с пользовательскими сценариями
- •Python на продакшн-уровне (PEP8, аннотации, линтеры, создание и поддержка production-кода eval-пайплайнов)
Будет плюсом
- •R&D-опыт или участие в создании бенчмарков
- •Опыт с мультимодальными моделями (изображения, видео, аудио)
- •Опыт разработки evaluation-фреймворков и harness
- •Опыт с RAG и работой с асессорами
- •Опыт с coding-агентами и оркестрацией (LangGraph, OpenClaw и пр.)
