СберAI Fullstack QA-инженер
Москва
Команда разрабатывает LLM‑агентов и ассистентов; вы будете строить и внедрять единую методологию качества, метрики и непрерывную оценку качества моделей и сервисов, чтобы снизить галлюцинации и улучшить релизы для пользователей и бизнеса
Стек
PythonVector DBSQLCI/CDLLMpromptsGitJenkinsGitLab CI
Задачи
- •Проектирование и внедрение методологии тестирования LLM‑агентов
- •Внедрение Quality Gates и метрик качества (релевантность, безопасность, галлюцинации, latency)
- •Построение непрерывной оценки качества в CI/CD
- •Проведение приёмо‑сдаточных испытаний и защита релизов
- •Анализ логов, метрик инцидентов и пользовательского фидбека, подготовка аналитических отчётов
- •Автоматизация тестов API, UI и бизнес‑логики; участие в код‑ревью тестовой инфраструктуры и взаимодействие с ML‑инженерами
Обязательно
- •Понимание тестирования вероятностных систем и методов оценки LLM
- •Опыт построения и масштабирования тестовой инфраструктуры и процессов качества
- •Уверенное владение Python для автоматизации и анализа
- •Уверенное владение SQL для извлечения и анализа метрик и логов
- •Опыт работы с Git и CI/CD (Jenkins/GitLab CI) и понимание принципов DevOps
- •Опыт взаимодействия с ML‑инженерами, работа с векторными БД и промптами
- •Инструментальное владение AI для анализа, генерации и автоматизации
Будет плюсом
- •Опыт тестирования LLM, чат‑ботов, RAG‑систем или рекомендательных движков
- •Знакомство с инструментами мониторинга LLM
- •Опыт работы в финтехе/банковском секторе
