СберData Engineer (Центр робототехники)
Москва
Команда Data Conveyor готовит данные с роботов и внешних источников для ML‑команд. Вы будете проектировать reproducible пайплайны, валидацию и схемы датасетов, чтобы превращать сырые записи в проверяемые и воспроизводимые наборы для обучения моделей
ГрейдMiddle/Senior
Стек
PythonDockerParquetS3GitCI/CDLinuxwebdatasetzarrhdf5video files
Задачи
- •Проектирование и реализация batch-пайплайнов для конвертации разных источников в формат для обучения
- •Стабилизация основного пути конвертации: повторяемые запуски, проверяемые результаты и отчёты об ошибках
- •Поддержка schema, versioning, compatibility checks, validators и manifests
- •Подключение новых источников: записи с роботов, внешние датасеты, симуляции, egocentric data и тестовые прогоны
- •Создание validation suite для файлов, layout видео/parquet, timestamps, metadata и annotation status
- •Разработка CLI/tools, тестов, runbooks и отладочных отчётов для исследователей и инженеров
Обязательно
- •сильный Python и опыт разработки data processing/batch pipelines
- •опыт backend/data engineering или software engineering для внутренних платформ и ML/data workflows
- •опыт работы с большими файлами, manifests, reproducible builds и validation logic
- •практический опыт с Linux, Docker и командной строкой
- •опыт работы с Git и CI/CD
- •понимание storage и data formats: S3/object storage, parquet, webdataset, video files, zarr, hdf5
- •навык писать поддерживаемый production-like код, а не одноразовые скрипты
Будет плюсом
- •опыт с LeRobot, RLDS, DROID / Bridge / RT-X-like datasets, ROS bags или robotics trajectories
- •опыт с Ray, Airflow, Prefect, Kubernetes, SLURM, LSF или другими orchestration/job systems
- •опыт с W&B, MLflow, Hydra, experiment tracking или dataset management systems
- •понимание computer vision, multimodal data, imitation learning или robot learning
- •навыки работы с генеративными моделями и AI-агентами
