СберMiddle AQA Python инженер
гибрид, Москва
Команда разрабатывает сберегательные продукты на базе AI-агентов. Роль в фокусе — автоматизация тестирования API и цепочек взаимодействия LLM/агентов, проверка качества предсказаний и стабильности витрин данных, что важно для корректных бизнес-решений и пользовательского опыта.
ГрейдMiddle
Опытот 5 лет
Стек
PythonPytestPostgreSQLJenkinspytest-asyncioSeleniumSelenoidhttpxallurepandasnumpyOracleMongoDBGigaChatLLM
Задачи
- •функциональное, интеграционное и регрессионное тестирование API-сервисов и AI-агентов
- •написание автотестов на Python для проверки цепочек вызовов AI-агентов
- •автоматизация оценки качества недетерминированных ответов и обнаружение drift’ов
- •разработка тестов для проверки предиктивных моделей и рекомендательных алгоритмов
- •подготовка тестовых данных и проверка консистентности витрин/ETL
- •участие в A/B-тестировании, проверке групп и метрик качества
Обязательно
- •уверенное знание Python 3 (core) и Pytest/pytest-asyncio
- •опыт автоматизации тестирования от 3 лет
- •опыт тестирования крупных сервисов с большим ветвлением
- •знание SQL и работа с базами данных (Oracle, PostgreSQL, MongoDB)
- •опыт анализа данных с pandas и numpy
- •опыт работы с CI/CD для запуска тестов (Jenkins, GitLab CI/CD)
- •умение интегрироваться с LLM по API (на проекте GigaChat)
Будет плюсом
- •опыт тестирования AI-агентов и систем на основе ML/data-driven
- •понимание банковской предметной области
- •опыт работы с Java для поддержки legacy-автотестов
- •знание метрик рекомендательных систем (Precision/Recall, NDCG и др.)
- •опыт тестирования витрин данных и ETL-процессов
