ЯндексАналитик качества AI в Финтех
офис, гибрид, Москва
Команда Яндекс Финтех ищет аналитика для разработки метрик качества и оценки LLM-агентов и AI‑сервисов, которые используются в финансовых сценариях. Вы будете готовить тест‑наборы, проверять релизы и помогать улучшать точность и полезность решений для пользователей.
Стек
PythonSQL
Задачи
- •Разрабатывать метрики качества для разных AI‑сценариев
- •Готовить оценочные наборы и инструкции для разметки
- •Проводить оценку релизов и сравнение версий моделей с проверкой статистики
- •Исследовать ошибки ответов и причинить их в модели, данных или промптах
- •Формулировать выводы и рекомендации для команды продукта и разработчиков
Обязательно
- •Использование Python для анализа данных и автоматизации
- •Умение писать запросы на SQL
- •Знание методов математической статистики и интерпретации экспериментов
- •Опыт работы с текстовыми данными и разбором примеров
- •Интерес к AI-инструментам и LLM и желание разбираться в причинах ошибок
