IT-oneData Engineer Middle
удалёнка
Команда работает над Lakehouse-платформой: вы будете проектировать, реализовывать и поддерживать интеграционные потоки и витрины данных на стеке Big Data, обеспечивая доступность и производительность данных для аналитики и бизнес-заказчиков
ГрейдMiddle
Стек
PythonSparkGreenplumApache AirflowTrinoIcebergS3ClickHouseKafkaFlinkdbtNi-FiCosmosHadoopParquetAvroOraclePostgresMySQLMsSQLGit
Задачи
- •Разработка и поддержка интеграционных потоков данных (ETL/ELT) на стеке Spark/Trino/Flink
- •Построение и поддержка витрин данных и таблиц Iceberg/Parquet на S3
- •Оркестрация пайплайнов с помощью Apache Airflow и обеспечение их стабильной работы
- •Сбор требований у бизнес-заказчиков и анализ источников данных
- •Оперативное реагирование на инциденты и устранение проблем в зоне ответственности
- •Поддержание документации интеграционных решений и отчётность руководителю
Обязательно
- •Знание SQL: индексы, функции, оптимизация и профилирование
- •Опыт разработки на Python или Java
- •Опыт разработки на Spark
- •Опыт работы с Trino и/или Iceberg
- •Опыт работы с объектными хранилищами S3/minio
- •Опыт работы с Apache Airflow
- •Опыт работы с DBT, Cosmos и Ni‑Fi
