СберQA инженер (Поток)
Москва
Команда разрабатывает ИИ‑решение для анализа реализации стратегии и сценарного моделирования. Роль в тестировании backend и UI, построении eval‑наборов и мониторинге качества генеративных моделей, чтобы гарантировать корректность выводов и интеграций в проде.
ГрейдMiddle/Senior
Опытот 3 лет
Стек
SQLPrometheusGrafanaREST APIOpenAPIPostmanJSONYAMLXMLHTMLCI/CDpytest
Задачи
- •функциональное тестирование backend-сервисов и UI
- •подготовка тестовых данных, участие в ПСИ и релизах, регрессия
- •анализ логов и данных в БД при обращениях пользователей
- •построение и поддержка eval‑набора (golden set) и регрессионного контроля качества
- •автоматизированная оценка качества генерации (LLM-as-judge, метрики типа Ragas)
- •тестирование RAG и агентных сценариев, включая tool calling и многошаговые цепочки
Обязательно
- •опыт работы в тестировании от 3 лет
- •понимание HTTP, кодов ответов и авторизации
- •опыт тестирования API (REST/JSON) и микросервисных интеграций
- •опыт работы с Postman/Insomnia/Swagger (OpenAPI)
- •знание форматов данных JSON, YAML, XML, HTML
- •умение писать SQL‑запросы средней сложности
- •опыт работы с системами мониторинга и логов (Prometheus, Grafana) и понимание CI/CD
Будет плюсом
- •понимание RAG и методов оценки релевантности контекста
- •опыт тестирования агентных систем и tool calling
- •опыт автоматизации на Python (pytest)
- •понимание метрик качества AI‑продукта и мониторинга в проде
- •опыт работы с Kafka
- •опыт работы с векторными или графовыми БД (например, Qdrant)
