СберData Engineer for VLM Training Data (GigaChat Vision)
Москва
Команда отвечает за сбор, хранение и подготовку больших мультимодальных датасетов для обучения Vision‑Language моделей. Вы будете строить масштабируемые пайплайны очистки, валидации, версионирования и экспорт в training‑ready форматы для исследователей и ML‑инженеров
ГрейдMiddle/Senior
Стек
PythonYTsaurusPostgreSQLS3DVCGitDocker
Задачи
- •Сбор и структурирование потребностей ML‑команды в данных
- •Проектирование и реализация пайплайнов обработки данных (очистка, фильтрация, дедупликация, категоризация, генерация) для больших мультимодальных датасетов
- •Импорт данных из различных источников и обеспечение хранения с версионированием
- •Валидация, контроль качества и экспорт датасетов в training‑ready форматы
- •Сбор метрик, статистики и визуализация состава и качества датасетов
Обязательно
- •Опыт в построении production‑grade data pipelines
- •Уверенное владение Python
- •Опыт работы с объектными хранилищами (S3 или аналоги)
- •Опыт работы с YTsaurus или похожими системами распределённого хранения/обработки
- •Знание принципов валидации, очистки, дедупликации и версионирования датасетов
- •Опыт с DVC, Git и Docker
- •Опыт работы с PostgreSQL или реляционными СУБД
Будет плюсом
- •Опыт с мультимодальными данными (image‑text pairs, captions, OCR, metadata)
- •Опыт генерации синтетических данных и построения pipelines для synthetic data
- •Опыт реализации quality scoring, semantic deduplication, фильтрации и кластеризации
- •Опыт работы с Common Crawl, LAION‑подобными и open‑source vision‑language датасетами
- •Опыт визуализации статистики по большим датасетам и построения внутренних дашбордов
- •Базовое понимание ML training pipeline и влияния качества данных на обучение моделей
