СберData Engineer в Unit Data B2C
гибрид, Москва
Команда Unit Data B2C развивает веб‑приложение для формирования и публикации клиентских сегментов. Вы будете строить и оптимизировать ETL‑пайплайны и хранение данных, чтобы обеспечить быстрый расчёт аудиторий и контроль качества данных для маркетинга и кампейнов
ГрейдJunior/Middle
Опыт1–3 года
Стек
SparkClickHouseKafkaPostgreSQLHadoopHiveMapReduceSQLGit
Задачи
- •разрабатывать и оптимизировать ETL‑пайплайны в ClickHouse/Postgres/Hadoop/Kafka
- •подключать новые источники данных и интеграции
- •оптимизировать структуру хранения данных и запросы
- •автоматизировать расчёт и публикацию сегментов
- •разрабатывать систему контроля качества данных
- •участвовать в развитии конструктора сегментов и интеграций, включая планы по ИИ‑функциям
Обязательно
- •опыт работы с БД (Hadoop, ClickHouse, Postgres) от 2х лет
- •опыт настройки и использования Kafka
- •глубокое понимание Spark, Hive, MapReduce
- •продвинутый уровень владения SQL
- •уверенное использование систем контроля версий
Будет плюсом
- •опыт работы с EAV‑моделями данных
- •навыки работы с генеративными AI‑моделями
- •опыт использования GigaChat, Kandinsky или аналогов
- •навыки создания и использования AI‑агентов
