СберAutomation QA
Санкт-Петербург
Команда разрабатывает Бизнес‑помощника на платформе СберБизнес. Роль фокусируется на создании процесса и фреймворка автоматизированного тестирования мультиагентной AI‑системы, проверке диалоговой логики и качества LLM‑ответов для стабильности и бизнес‑ценности продукта
ГрейдJunior/Middle
Опыт1–3 года
Стек
PythonSQLJenkinsPostmanGitJiraConfluenceGigaChatKandinskyLLM
Задачи
- •построение процесса автотестирования мультиагентной AI‑системы с нуля
- •разработка и поддержка тестового фреймворка
- •разработка тестовых сценариев для проверки логики и поведения AI‑агентов
- •тестирование диалоговых сценариев: вариативность, обработка возражений
- •настройка регрессионного тестирования в CI/CD
- •автоматизация проверки качества LLM‑ответов и формирование отчетов о прогонах
Обязательно
- •опыт автоматизированного тестирования от 2-х лет
- •владение Python — писать читаемый и поддерживаемый код
- •опыт разработки и доработки тестовых фреймворков
- •опыт работы с CI/CD (Jenkins/аналоги) и Git
- •знание SQL и инструментов тестирования API (Postman или аналоги)
- •знание основных паттернов проектирования ПО
- •опыт тестирования сложных систем с интеграциями и базовые знания AI/LLM, опыт работы с AI‑агентами (GigaChat, Kandinsky)
Будет плюсом
- •опыт автоматизации оценки качества LLM‑ответов по метрикам и эталонам
- •навыки настройки регулярных прогонов и отчетности в CI/CD
