ЯндексData Analyst (умность Алисы)
офис, гибрид, Москва
Команда развивает новую LLM-архитектуру Алисы с tool calling для управления устройствами и сервисами. Вы будете анализировать качество модели, масштабировать сценарии вызова функций и строить систему метрик и eval-ов для улучшения пользовательского опыта.
ГрейдMiddle
Опыт1–3 года
Стек
PythonSQLTableauLLMDataLensSuperset
Задачи
- •анализировать качество работы LLM и сегментировать ошибочные сценарии
- •искать инсайты в логах и событийных данных для повышения качества
- •формулировать продуктовые гипотезы и оценивать их эффект через метрики
- •поддерживать перевод ключевых сценариев на архитектуру с tool calling
- •формировать eval-наборы, офлайн- и онлайн-метрики, мониторинг деградаций
Обязательно
- •более двух лет опыта как Data/Product/Analyst в data-driven продукте
- •опыт работы с LLM или Generative AI (не только бытовые применения)
- •уверенные навыки SQL для анализа данных
- •уверенные навыки Python для анализа данных
- •опыт работы с большими объёмами логов и событийных данных
- •продуктовая аналитика и поиск инсайтов через данные
- •понимание статистики и A/B-тестирования
Будет плюсом
- •опыт с LLM-based продуктами или AI-ассистентами
- •оценка качества LLM (LLM-as-a-judge, evals, RAG)
- •знакомство с Agentic AI и tool calling
- •опыт построения дашбордов (Tableau, DataLens, Superset)
- •опыт с NLP/NLU-продуктами или голосовыми ассистентами
- •понимание цикла обучения и улучшения ML/LLM моделей
- •работа с неструктурированными данными и текстовыми логами
