СберDA Lead (Руководитель направления анализа и подготовки данных для AI)
Москва
Руководитель направления в команде, которая строит RAG‑платформу, фреймворк агентов и сервисы обработки неструктурированных данных. Будете формировать методологии подготовки данных, метрики качества и автоматизацию data‑lifecycle для production GenAI‑решений
ГрейдLead
Стек
PythonSQLLLMOCRLabelStudioTolokaJiraRAG
Задачи
- •построение и оптимизация метрик качества для RAG/LLM/OCR онлайн и офлайн
- •разработка методологий оценки качества, мониторинга и регрессионного тестирования
- •проведение экспериментов и A/B‑тестов для улучшения AI‑решений
- •обеспечение качества данных и методологий подготовки датасетов
- •автоматизация циклов работы с данными: сбор, разметка, валидация и подсчёт метрик
- •руководство командой аналитиков, менеджеров данных и разметчиков
Обязательно
- •опыт работы с Python
- •умение работать с SQL
- •понимание работы LLM и подходов типа RAG, fine‑tuning
- •знание методов оценки качества LLM и RAG
- •понимание процесса деплоя моделей
- •знание матстата для оценки гипотез
- •умение эффективно взаимодействовать с DS, ML‑инженерами и бизнесом
Будет плюсом
- •опыт построения процессов оценки качества GenAI
- •опыт работы с данными для LLM и AI‑агентов
- •опыт управления разметчиками
- •опыт создания пайплайнов data lifecycle
- •знакомство с LabelStudio и Toloka
- •опыт работы с контролем качества разметки (consistency, honeypots, golden dataset)
