Лемана ПРОИнженер данных
офис, Москва
Команда работает над DWH: интеграциями, витринами и ETL для аналитики и бизнес-отчетности. Вы будете строить и поддерживать витрины в ClickHouse/Greenplum, подключать источники и повышать качество и производительность данных
ГрейдMiddle
Опыт1–3 года
Стек
ClickHouseGreenplumKafkaTrino/PrestoMS SQL ServerOraclePostgreSQLMongoDBPrometheusELKGrafanaAVROParquetIcebergGitFlinkSparkAirflowTerraform
Задачи
- •Поддержка интеграций и витрин на ClickHouse и Greenplum
- •Разработка и сопровождение ETL-процессов
- •Подключение и настройка новых источников данных по стандарту
- •Оптимизация и профилирование SQL/NoSQL-запросов
- •Создание проверок качества данных и документирование разработок
Обязательно
- •Опыт работы с ClickHouse — от 2 лет
- •Опыт работы с Greenplum/Hadoop — от 2 лет
- •Реальное использование Trino/Presto в production
- •Опыт разработки ETL-процессов (желательно Flink/Spark)
- •Знание SQL, оптимизация запросов, оконные функции, CTE
- •Опыт работы с мониторингом (Prometheus, ELK, Grafana) и знание git
- •Знание табличных форматов AVRO, Parquet, Iceberg
Будет плюсом
- •Опыт работы с Kafka или RabbitMQ
- •Опыт работы с оркестраторами задач (Airflow; Dagster/Prefect/Mage/Luigi)
- •Опыт в облачных средах и Terraform
- •Знание Python или Scala
- •Опыт с высоконагруженными распределёнными системами хранения
