2gisData Engineer в команду SMT
офис, удалёнка
Команда строит новую корпоративную дата‑платформу: проектируете архитектуру, пайплайны ingest/transform и витрины для аналитики и BI. Платформа будет центральным каналом данных для десятков продуктовых команд и управленческой аналитики
ГрейдMiddle/Senior
Опытот 3 лет
Стек
PythonApache SparkClickHouseKafkaS3Hadoop/HDFSDockerKubernetesDataLensPower BISQL
Задачи
- •Разрабатывать MVP новой дата‑платформы и инфраструктуру для ingest/transform
- •Мигрировать существующие пайплайны с Hadoop/HDFS на S3/Kafka/Spark/ClickHouse
- •Проектировать и поддерживать отказоустойчивые пайплайны доставки и обработки данных
- •Работать с большими объёмами данных и высоконагруженными Kafka‑топиками
- •Участвовать в архитектурных решениях, внедрять best practices по хранению, мониторингу и качеству данных
- •Сопровождать миграцию BI‑отчётов на новую платформу (DataLens, Power BI)
Обязательно
- •от 3 лет опыта на позиции Data Engineer / Big Data Engineer
- •глубокие знания Apache Spark (подготовка и оптимизация приложений)
- •опыт работы с ClickHouse и оптимизацией запросов
- •опыт работы с высоконагруженной Kafka
- •знание подходов к построению DWH/Lake, OLAP, ETL/ELT и Data Governance
- •умение проектировать отказоустойчивые пайплайны
- •владение SQL и умение разбирать логику отчётов
Будет плюсом
- •опыт построения Self‑Service дата‑платформ и процессов
- •знание инструментов мониторинга и Data Quality / Data Contracts
- •опыт построения Data Lineage и работы с Data Catalog
- •инфраструктурный опыт: Docker, Kubernetes, CI/CD
