2gisData Engineer в команду CDP
удалёнка
Команда CDP строит платформу для объединения пользовательских данных и real-time персонализации 2ГИС. Роль сфокусирована на проектировании и разработке высоконагруженных data‑пайплайнов и сервисов, которые обрабатывают миллиарды событий и влияют на персонализацию и рекламу.
ГрейдMiddle/Senior
Стек
GogRPCClickHouseKafkaKubernetesPostgreSQLSparkAirflowPythonTypeScriptReact
Задачи
- •оптимизировать batch‑пайплайны для расчёта daily‑признаков
- •создавать realtime‑пайплайны на основе Kafka
- •проектировать и разрабатывать сервисы обработки миллиардов событий
- •строить витрины и расчеты метрик для аналитики
- •работать с потоками данных и интеграциями между CDP и системами 2ГИС
- •влиять на архитектурные решения и повышать качество кода
Обязательно
- •опыт работы с highload‑системами
- •опыт проектирования архитектуры данных или платформенного кода
- •опыт работы с Kafka, ClickHouse или другими системами потоковой и аналитической обработки данных
- •понимание и практическая работа со Spark
- •хорошее владение одним из языков программирования (например, Python или Scala)
- •самостоятельность и проактивность
- •готовность разбираться в бизнес‑логике продукта
Будет плюсом
- •опыт работы с Airflow
- •анализ данных с использованием SQL
- •инструменты мониторинга и автоматического контроля качества данных (Data Quality, Data Contracts)
- •опыт построения Data Lineage и работы с Data Catalog
- •понимание подходов к персонализации, сегментации и real‑time аналитике
- •понимание работы S3‑хранилища
