Wildberries & RussSenior Data Engineer в команду платформы данных
удалёнка
Команда платформы данных Trust & Safety развивает инфраструктуру для хранения, обработки и оркестрации больших данных: OLAP-запросы, потоковая и батч-обработка, визуализация и качество данных. Роль важна для обеспечения достоверных и доступных данных аналитикам и моделям безопасности.
ГрейдSenior
Опытот 5 лет
Стек
PythonApache FlinkClickHouseKafkaTrinoS3Apache IcebergCassandraApache AirflowdbtRedPandaApache SupersetRedash
Задачи
- •внедрение, настройка и поддержка компонентов платформы данных
- •проектирование и оптимизация архитектуры хранения больших данных
- •разработка и оптимизация потоковых и батч-пайплайнов (ETL/ELT)
- •обеспечение качества, надежности данных и оптимизация OLAP-запросов
- •мониторинг кластеров, тюнинг производительности и поддержка пользователей
- •быстрое исследование новых технологий и решение нестандартных задач
Обязательно
- •опыт работы в Data Engineering от 5 лет
- •глубокое понимание принципов Big Data: распределённые вычисления, партиционирование, шардирование
- •практический опыт с ClickHouse и OLAP-оптимизацией запросов
- •опыт работы с потоковой обработкой и батч-процессами
- •уверенное владение SQL и оптимизацией сложных запросов
- •уверенное владение Python для скриптов и интеграции
- •опыт настройки CI/CD для data-проектов (линтеры, тесты, автодеплой дагов Airflow или dbt-моделей)
