Wildberries & RussData Engineer в Ценообразование
офис, удалёнка, гибрид, Москва
Команда Прайсинг развивает «Платформу Ценообразования»: вы будете проектировать и поддерживать загрузки, витрины и DAGи для аналитики и бекенда, обеспечивая качество данных и производительность хранилища для продуктовых команд и аналитиков
ГрейдMiddle/Senior
Стек
PythonFastAPIClickHouseKafkaPostgreSQLApache AirflowREST APISQL
Задачи
- •Проектировать и разрабатывать пайплайны загрузки данных
- •Проектировать витрины и слои данных в ClickHouse (движки, партиционирование, шардирование)
- •Оптимизировать запросы и хранение, расследовать причины роста таблиц и медленных запросов
- •Разрабатывать и поддерживать DAGи в Airflow: идемпотентность, ретраи, бэкфиллы
- •Обеспечивать качество данных: проверки полноты, консистентности, мониторинг и алертинг
- •Согласовывать контракты данных с продуктовыми командами и аналитиками
Обязательно
- •Опыт работы с ClickHouse и распределёнными кластерами
- •Уверенный SQL и работа с большими объёмами данных (таблицы 50+ TB)
- •Знание Python для разработки пайплайнов и бекенда
- •Опыт разработки и эксплуатации DAGов в Apache Airflow
- •Понимание Apache Kafka: топики, партиции, консьюмер-группы, оффсеты
- •Опыт интеграции данных из REST API и реляционных БД (PostgreSQL и аналоги)
