АльфаСтарший инженер данных
удалёнка, офис, Москва
Команда разработки DWH ищет старшего инженера данных для подключения источников, проектирования и сопровождения ETL/ELT‑пайплайнов, обработки данных и запуска интеграций в промышленную эксплуатацию. Роль влияет на качество аналитики и доступность данных для бизнеса
ГрейдSenior
Стек
PythonApache SparkPostgreSQLApache AirflowKafkaOracleS3/MinIOParquetORCGitCI/CD
Задачи
- •Подключать новые системы и источники данных к хранилищу
- •Анализировать структуру и особенности данных в источниках
- •Проектировать и разрабатывать интеграционные решения для загрузки и обработки данных
- •Разрабатывать и сопровождать ETL/ELT‑процессы
- •Тестировать решения и участвовать во вводе в эксплуатацию
- •Подготавливать и актуализировать техническую документацию, предлагать улучшения
Обязательно
- •Уверенное знание SQL
- •Уверенное знание Python
- •Понимание принципов построения DWH
- •Опыт разработки и сопровождения ETL/ELT‑процессов
- •Опыт работы с Apache Spark
- •Опыт работы с объектными хранилищами S3/MinIO
- •Опыт работы с Apache Airflow
Будет плюсом
- •Знание Scala или Java
- •Опыт с Apache Iceberg
- •Опыт с Apache Flink
- •Опыт с Greenplum, MongoDB или ElasticSearch
- •Понимание REST API
- •Опыт с RabbitMQ или Tarantool
- •Опыт работы с XML и JSON
