СберML Research Engineer – Image & Video Generation (Модельные риски генеративных моделей)
Москва
Команда независимой оценки качества проверяет новые версии Kandinsky до релиза: вы будете проектировать метрики и воспроизводимые evaluation‑пайплайны, анализировать артефакты моделей и формулировать рекомендации по релизу и ограничению применения моделей.
Стек
Python
Задачи
- •Декомпозировать качество моделей на измеримые критерии и проектировать тестовые сценарии и промпты
- •Разрабатывать воспроизводимые evaluation‑пайплайны и инструменты на Python для запуска моделей и расчёта метрик
- •Строить и валидацию VLM/LLM-as-a-judge и проверять их согласование с human evaluation
- •Анализировать ошибки diffusion‑ и мультимодальных моделей и отличать методологические ошибки от проблем модели
- •Формулировать заключения по модельному риску, условия релиза и рекомендации для команды разработки
Обязательно
- •Хорошее понимание устройства Transformers, diffusion и мультимодальных моделей и их типичных ограничений и артефактов
- •Умение проектировать оценку качества: декомпозиция критериев, подготовка выборок, промптов и тестовых сценариев
- •Опыт реализации reproducible evaluation‑пайплайнов и инструментов на Python
- •Навыки построения и валидации LLM/VLM-as-a-judge и понимание их bias и ограничений
- •Опыт организации human evaluation, подготовки инструкций для асессоров и контроля качества разметки
- •Умение проводить технический и научный ресерч и переводить ресерч в тесты/методологии
Будет плюсом
- •Опыт работы с агентными и мульти‑агентными системами и декомпозиции задач между агентами
- •Навыки AI‑assisted coding и работа с coding‑агентами (например, для генерации и проверки кода)
- •Продуктовое мышление: связывание тестов с пользовательскими сценариями и приоритизация проверок
- •Опыт разработки бенчмарков для Image/Video/Audio и построения аналитических пайплайнов/отчётов
- •Понимание GPU‑инфраструктуры и практический опыт инференса
