СберVision Pretain Data Lead (VLM, GigaChat Vision)
офис, гибрид
Ведущий дата-специалист в команду Pretrain, который строит и улучшает data engine для обучения VLM: sourcing, curation, dedup, фильтрация, балансировка и mixture design. Обеспечивает качество, воспроизводимость данных, мониторинг и взаимодействие с training/eval командами
ГрейдLead
Стек
PythonAirflow/PrefectDelta Lake/ParquetMLflowSQLKubernetesGrafana
Задачи
- •Проектировать и развивать data engine для pretrain и stage 1.5
- •Организовывать sourcing, curation, dedup, filtering, balancing и mixture design
- •Выявлять проблемы в данных, планировать и реализовывать улучшения качества
- •Настраивать метрики, дашборды и мониторинг качества данных
- •Координировать работу с training/eval командами и обеспечивать воспроизводимость
- •Нанимать и управлять командой дата-инженеров
Обязательно
- •опыт работы в production-командах с развёртыванием офлайн и онлайн моделей
- •понимание влияния данных на качество VLM
- •опыт построения data-пайплайнов и процессов data quality
- •умение ставить задачи дата-инженерам, DevOps/ML-Ops и ML-разработчикам
- •навыки приоритизации задач и распределения ресурсов
- •опыт организации мониторинга, статистики и воспроизводимости данных
Будет плюсом
- •опыт работы с крупными датасетами и high-load проектами
- •опыт в создании дашбордов и метрик качества датасетов
- •публикации или участие в исследованиях по CV / VLM
