СберSenior/Lead QA Engineer (AI/LLM Products)
Москва
Работа в команде, которая разрабатывает AI-инструменты и LLM-платформу: тестирование веб-интерфейсов, API и интеграций с LLM, создание evaluation-наборов и автоматизация проверок на Python для повышения качества ответов моделей и стабильности системы
ГрейдSenior/Lead
Опытот 5 лет
Стек
PythonpytestREST APIPlaywrightPostmanrequestsJSON
Задачи
- •функциональное и регрессионное тестирование продуктов с LLM-компонентами (веб, API, интеграции)
- •разработка и поддержка evaluation datasets и golden sets для оценки ответов моделей
- •тестирование промптов на устойчивость к перефразированию, инъекциям, edge-кейсам и джейлбрейкам
- •оценка ответов LLM по точности, полноте, галлюцинациям и соответствию формату (structured output / JSON schema)
- •анализ недетерминированного поведения, воспроизведение плавающих дефектов и статистическая оценка стабильности
- •автоматизация проверок и прогонов evaluation-сценариев на Python (smoke, скрипты массовой проверки)
Обязательно
- •опыт в тестировании от 5 лет (ручное и автоматизация)
- •практический опыт работы с AI-инструментами (ChatGPT, Claude, Copilot и аналоги) как рабочими инструментами
- •понимание промпт-инжиниринга: структура промпта, few-shot, chain-of-thought, sdd, системные промпты
- •уверенное тестирование API, чтение JSON и понимание REST
- •понимание специфики LLM: недетерминированность, галлюцинации, ограничения контекста, параметры генерации
- •базовый уровень Python для написания и поддержки автотестов (pytest/requests/Playwright)
- •умение писать чёткие баг-репорты и тест-кейсы с воспроизводимыми условиями
Будет плюсом
- •продвинутая автоматизация UI и опыт построения фреймворков (Playwright / Selenium)
- •опыт построения LLM-evaluation пайплайнов (promptfoo, LangSmith, Ragas или собственные решения)
- •понимание RAG-архитектур
- •опыт тестирования безопасности LLM: prompt injection, jailbreaks, утечки данных
