СберSenior Data Engineer (GigaChat Vision)
офис, гибрид, Москва
Команда DS&AI ищет Senior Data Engineer для построения инфраструктуры и масштабных пайплайнов подготовки данных для Vision‑Language Models. Вы будете отвечать за импорт, валидацию, версионирование и экспорт training‑ready датасетов, обеспечивая качество и воспроизводимость
ГрейдSenior
Стек
PythonYTsaurusPostgreSQLS3DVCGitDocker
Задачи
- •Собирать требования ML‑команды и переводить их в дата‑контракты и пайплайны
- •Проектировать и реализовывать масштабные пайплайны очистки, фильтрации, дедупликации и генерации данных
- •Организовывать импорт данных из production, Common Crawl и open‑source источников
- •Реализовывать валидацию, контроль качества и версионирование датасетов
- •Обеспечивать экспорт данных в training‑ready форматы и воспроизводимость процессов
- •Собирать статистику и строить отчёты/визуализации состава и качества датасетов
Обязательно
- •Опыт в production‑grade data engineering и пайплайнах обработки больших данных
- •Уверенное владение Python (multiprocessing, multithreading, async)
- •Опыт работы с объектными хранилищами (S3 или аналоги)
- •Опыт с YTsaurus или похожими распределёнными системами хранения/обработки
- •Знание принципов валидации, очистки, дедупликации и версионирования датасетов
- •Опыт с DVC, Git и Docker
- •Опыт работы с PostgreSQL или другими реляционными БД
Будет плюсом
- •Опыт работы с мультимодальными датасетами (image‑text pairs, captions, OCR, metadata)
- •Опыт генерации synthetic data и quality scoring/filtering
- •Опыт работы с Common Crawl, LAION‑подобными датасетами
- •Опыт визуализации статистики по большим датасетам и построения внутренних дашбордов
- •Базовое понимание ML training pipeline и влияния качества данных на модели
