2gisМенеджер по качеству данных (ML-датасеты)
Команда готовит датасеты для задач Computer Vision, NLP и генеративного AI. Вы будете проектировать процессы сбора, разметки и валидации данных, автоматизировать проверки и улучшать данные вместе с ML-командами для повышения качества моделей
ГрейдMiddle/Senior
Стек
PythonLLMActive Learningинструменты автоматизации
Задачи
- •Проектировать и поддерживать процессы сбора, обработки и разметки данных
- •Формулировать требования к датасетам вместе с командами CV, NLP и AI
- •Определять критерии качества, организовывать проверки разметки и анализировать ошибки
- •Оценивать скорость, стоимость и качество разметки, находить узкие места и оптимизировать процессы
- •Проводить эксперименты с разметкой, автоматизацией и контролем качества, писать инструкции для асессоров и промпты для LLM
Обязательно
- •Опыт с краудсорсинговыми проектами, разметкой данных или контролем качества разметки
- •Умение декомпозировать неопределённые задачи в измеримые процессы, определять входы, правила и метрики качества
- •Умение оценивать и сопоставлять качество, скорость и стоимость разных подходов к разметке
- •Владение Python для анализа данных, подготовки выборок и написания скриптов автоматизации
- •Умение формулировать и тестировать промпты для LLM и оценивать качество их результатов
- •Навыки коммуникации с асессорами и заказчиками, управление несколькими задачами и приоритизация
Будет плюсом
- •Знание принципов машинного обучения и жизненного цикла ML-моделей
- •Опыт с датасетами для Computer Vision, NLP или генеративного AI
- •Знание HTML, CSS и JavaScript для работы с интерфейсами разметки
- •Опыт разработки внутренних инструментов для разметки и контроля качества данных
- •Опыт работы с метриками качества разметки, inter-annotator agreement или активным обучением
