ГНГНИВЦ
Data Engineer / ETL-разработчик
удалёнка, Москва
Команда инженерии данных работает над Озером данных и аналитическими витринами для государственных и коммерческих заказчиков. Вы будете проектировать ETL/ELT, оптимизировать хранение и расчёты на кластере, обеспечивать качество и доступность данных для аналитики и отчетности.
ГрейдMiddle/Senior
Стек
PythonApache SparkPostgreSQLHadoopClickHouseAirflowKafkaDockerGitParquetORCAvroHDFSElasticsearch
Задачи
- •Проектировать и сопровождать ETL/ELT-пайплайны загрузки и трансформации данных
- •Оптимизировать схемы хранения и запросы в PostgreSQL и ClickHouse
- •Тонкая настройка и профилирование тяжёлых Spark-расчётов на кластере
- •Поддерживать витрины данных для отчётов и аналитики, устранять узкие места производительности
- •Обеспечивать качество, согласованность и доступность данных на всех этапах жизненного цикла
- •Автоматизировать рутинные операции и настраивать мониторинг пайплайнов
Обязательно
- •уверенное знание SQL (JOIN, оконные функции, CTE, планы выполнения)
- •опыт проектирования и оптимизации PostgreSQL
- •опыт моделирования и оптимизации в ClickHouse
- •опыт с Озером данных на базе Hadoop (HDFS, Parquet/ORC/Avro)
- •опыт разработки ETL/ELT-процессов и пайплайнов
- •практический опыт со Spark / Hive / HDFS
- •опыт с оркестрацией пайплайнов (Airflow, NiFi)
