АльфаРазработчик BigData
удалёнка, гибрид, Москва
Команда строит и поддерживает ETL-пайплайны и интеграции для корпоративного контура данных. Вы будете создавать, тестировать и документировать процессы обработки больших данных, повышая качество и стабильность аналитической платформы
Стек
PythonApache SparkHadoop/S3Apache AirflowParquet/ORCSQLApache KafkaApache IcebergGitCI/CDXMLJSON
Задачи
- •Разработка и тестирование ETL-процессов и интеграционных задач
- •Проектирование и реализация модулей для типовых ETL-процессов
- •Внедрение корпоративных стандартов разработки и ведение документации
- •Проведение код-ревью и обеспечение качества и поддерживаемости кода
- •Консультации команды сопровождения и помощь в разборе дефектов
Обязательно
- •Опыт промышленной разработки в стеке BigData
- •Знание SQL
- •Знание Python
- •Опыт работы с Apache Spark
- •Опыт работы с Hadoop/S3-like хранилищами
- •Знание форматов Parquet/ORC
- •Знание архитектуры Data Vault
Будет плюсом
- •Знание Apache Iceberg
- •Опыт работы с Apache Kafka
