GGSelData Engineer Middle+/Senior
удалёнка
Команда работает над трансформацией аналитической платформы маркетплейса: вы будете аудитить, дорабатывать и поддерживать ETL/ELT-пайплайны и хранилище на ClickHouse, обеспечивая качество данных и производительность для аналитики и бизнес-решений
ГрейдMiddle/Senior
Стек
PythonAirflowClickHouseDockerSQLdbtPostgreSQLGit
Задачи
- •Аудит и доработка текущих ETL/ELT-решений
- •Разработка и поддержка пайплайнов и DAG в Airflow
- •Проектирование переносов данных из PostgreSQL и других источников в ClickHouse
- •Построение слоёв данных и моделей в dbt
- •Обеспечение качества данных: тесты, мониторинг свежести и аномалий
- •Тюнинг ClickHouse и оптимизация SQL-запросов для производительности
Обязательно
- •Глубокие знания ClickHouse и семейства MergeTree
- •Опыт оптимизации запросов и работы с материализованными представлениями/проекциями
- •Навыки администрирования ClickHouse: шардирование, репликация, TTL
- •Опыт работы с Apache Airflow и написания надёжных DAG
- •Опыт работы с dbt для построения слоёв данных
- •Уверенный Python для разработки ETL-скриптов и экспертный SQL
- •Опыт работы с Docker и Git
Будет плюсом
- •Опыт работы с Pandas
