X5 TechData Engineer (разработчик DWH)
удалёнка, гибрид
Команда поддерживает и развивает DWH/Lakehouse для бизнес‑аналитики: разработка потоковых и пакетных интеграций, обеспечение качества данных и документирование решений, чтобы аналитики и бизнес получали корректные и своевременные данные
ГрейдMiddle
Стек
PythonSparkIcebergKafkaTrinoS3Apache AirflowFlinkCosmosDBTminioOraclePostgreSQLMySQLMS SQLDB2GitSQL
Задачи
- •Сбор требований с бизнес‑заказчиков и анализ источников данных
- •Разработка, реализация и поддержка потоковых и пакетных интеграционных решений
- •Реагирование на инциденты и устранение проблем в зоне ответственности
- •Поддержка и актуализация документации интеграционных решений
- •Предоставление отчетности о выполненной работе руководителю
Обязательно
- •Знание SQL, оптимизация и профилирование запросов
- •Опыт работы с реляционными БД (Oracle, Postgres, MySQL, MsSQL, DB2)
- •Умение работать с Git
- •Опыт работы с DBT и Cosmos
- •Понимание Iceberg и форматов данных
- •Опыт работы с S3‑совместимыми хранилищами (minio и др.)
- •Знания основ программирования (Java или Python)
Будет плюсом
- •Опыт с Trino
- •Опыт работы со Spark
- •Знание Apache Airflow
- •Опыт с Kafka и Flink
