СберQA Engineer (LLM-платформа)
гибрид, Москва
Команда развивает LLM-платформу и AI-инструменты; роль включает тестирование веб-интерфейсов, API и интеграций с LLM-провайдерами, а также оценку качества ответов моделей для снижения ошибок и повышения надёжности продукта
ГрейдMiddle/Senior
Опытот 3 лет
Стек
PythonpytestREST APIOpenAIPostmanAnthropicOpenRouterJSON
Задачи
- •функциональное и регрессионное тестирование веб-интерфейсов, API и интеграций
- •разработка и поддержка наборов evaluation-сценариев и golden sets
- •тестирование промптов на устойчивость, инъекции и джейлбрейки
- •оценка ответов LLM по точности, полноте, галлюцинациям и соответствию формату
- •анализ недетерминированного поведения и статистическая оценка стабильности
- •автоматизация рутинных проверок на Python (smoke, прогоны evaluation-сценариев)
Обязательно
- •опыт в тестировании от 3 лет
- •практический опыт работы с AI-инструментами (ChatGPT, Claude, Copilot и аналоги)
- •понимание основ промпт-инжиниринга (few-shot, chain-of-thought, системные промпты)
- •уверенное тестирование API (Postman/curl/HTTP), чтение JSON и понимание REST
- •базовые навыки Python для автотестов (pytest/requests), работа с фикстурами и ассерциями
- •умение писать чёткие баг-репорты и тест-кейсы
- •понимание специфики LLM: недетерминированность, галлюцинации, параметры генерации
Будет плюсом
- •продвинутая автоматизация UI (Playwright/Selenium)
- •опыт построения LLM-evaluation пайплайнов (promptfoo, LangSmith, Ragas или собственные фреймворки)
- •понимание RAG-архитектур и векторного поиска
- •опыт тестирования безопасности LLM: prompt injection, jailbreaks, утечки данных
- •английский для чтения технической документации
