СберProduct Owner AI Safety/ GigaChat
Москва
Работа в продуктовой команде GigaChat: формирование стратегии и процессов AI Safety, оценка и исправление небезопасных ответов и необоснованных отказов, а также внедрение проверок и метрик для повышения безопасности и предсказуемости ассистента для пользователей
ГрейдSenior
Задачи
- •Определять целевое поведение ассистента и формировать roadmap по Safety
- •Разрабатывать методологию оценки рисков, правила разметки и процесс разбора спорных случаев
- •Управлять метриками качества, анализировать небезопасные ответы и необоснованные отказы
- •Формировать бенчмарки и организовывать регулярные проверки и тестирование регрессий
- •Переводить сигналы из диалогов и инцидентов в приоритизированные задачи и контролировать их выполнение
- •Координировать работу с модельными и техническими командами и принимать результаты изменений
Обязательно
- •Опыт работы с ML/AI-продуктами и кейсы от постановки до измеримого результата
- •Техническая и аналитическая база в Data Science/ML Engineering или продуктовой аналитике
- •Понимание устройства LLM-продукта, RAG и защитных механизмов
- •Знание цикла улучшения моделей: данные, дообучение, оценка и мониторинг регрессий
- •Уверенная работа с метриками, выборками и статистикой; проверка выводов с помощью SQL/Python
- •Опыт постановки задач техническим командам и приёмки по измеримым критериям
- •Умение выстраивать приоритеты и процессы в межкомандной работе
Будет плюсом
- •Опыт в AI Safety, Trust & Safety или модерации генерируемого контента
- •Опыт работы с бенчмарками, red teaming и LLM-as-a-judge
- •Практический опыт взаимодействия с post-training или guard-моделями
- •Опыт работы с чувствительными сценариями, длительными диалогами или мультимодальными ассистентами
- •Опыт построения направления или межкомандного процесса с нуля
