Wildberries & RussData Engineer в команду Лояльности
удалёнка
Команда Лояльности разрабатывает сервис-агрегатор, который собирает и стандартизирует данные о пользователях из разных систем. Роль нужна для построения ETL/пайплайнов и DWH, чтобы обеспечить быстрый и удобный доступ к единому профилю клиента
Стек
PythonAirflowClickHouseKafkaSQLData LakeDWHETL
Задачи
- •Проектирование и разработка ETL/ELT-пайплайнов
- •Автоматизация оркестрации задач в Airflow
- •Интеграция данных из разных источников и их стандартизация
- •Оптимизация запросов и схем хранения в ClickHouse
- •Поддержка стабильной передачи данных через Kafka
Обязательно
- •Уверенный SQL (сложные запросы, оконные функции, оптимизация)
- •Практический опыт с Python для обработки данных
- •Опыт автоматизации пайплайнов в Airflow
- •Понимание архитектуры DWH / Data Lake
- •Опыт построения и поддержки ETL-пайплайнов
- •Опыт работы с ClickHouse и Kafka
