СберQA Engineer / LLM Evaluation
Москва
В команду AIFA нужен QA-инженер для контроля качества продукта и оценки результатов работы LLM и финансового агента. Будете тестировать backend API, UI и микросервисы, автоматизировать проверки и формировать метрики качества, чтобы обеспечить надёжность бизнес‑функций и корректность финансовых расчётов
ГрейдJunior/Middle
Опыт1–3 года
Стек
PythonpytestSQLCI/CDDockerREST API
Задачи
- •проводить функциональное, интеграционное, регрессионное и end-to-end тестирование
- •автоматизировать API- и UI-тесты
- •тестировать backend API, UI и взаимодействие микросервисов
- •проверять длительные и параллельные процессы, стриминг, повторные вызовы и восстановление после ошибок
- •создавать и поддерживать тестовые наборы для извлечения данных, Q&A, финансового анализа и моделирования
- •формировать бенчмарки и метрики качества LLM-компонентов и проверять воспроизводимость результатов
Обязательно
- •опыт в роли QA от 2 лет
- •понимание основных видов и методик тестирования
- •опыт тестирования REST API
- •базовые знания Python и готовность развиваться в автоматизации
- •базовый SQL и умение работать с логами для локализации ошибок
- •понимание клиент‑серверной и микросервисной архитектуры
- •внимательность и способность системно описывать дефекты
Будет плюсом
- •опыт с pytest, CI/CD и Docker
- •опыт нагрузочного тестирования
- •опыт оценки LLM и работы с метриками качества
- •опыт в финансовом домене
