X5 TechData Engineer (разработчик DWH)
удалёнка, гибрид
В составе команды данных вы будете разрабатывать и поддерживать потоковые и пакетные интеграции для платформы Lakehouse: сбор данных, трансформации и обеспечение доступности для аналитики и отчетности, чтобы ускорить получение бизнес-инсайтов
Стек
SparkIcebergKafkaTrinoS3Apache AirflowFlinkDBTCosmosminioPostgreSQLGitSQL
Задачи
- •Сбор требований и анализ источников данных
- •Разработка потоковых и пакетных интеграций на стеке Lakehouse
- •Реализация и поддержка ETL/ELT процессов и трансформаций
- •Оперативное реагирование и устранение инцидентов в зоне ответственности
- •Поддержание документации и предоставление отчетности руководителю
Обязательно
- •Знание SQL: индексы, функции, оптимизация и профилирование
- •Опыт работы с любой реляционной БД (Oracle/Postgres/MySQL и т.п.)
- •Умение работать с Git (pull/commit/push)
- •Понимание концепций Lakehouse и отличий от классического BigData/OLTP
- •Знание устройства Iceberg и форматов данных
- •Опыт работы с S3-совместимыми хранилищами (minio и т.п.)
- •Опыт работы с DBT и/или Cosmos
