Bell IntegratorРазработчик Hadoop
удалёнка, Санкт-Петербург
Команда Big Data поддерживает и развивает платформу обработки данных на базе Hadoop/Spark для ETL/ELT и аналитики. Роль важна для обеспечения качества данных, скорости обработки и надежной интеграции с потребителями данных и стримингом
ГрейдMiddle
Опыт1–3 года
Стек
JavaSparkPostgreSQLKafkaHadoopHiveDockerKubernetesJenkinsGitLab CISQLGit
Задачи
- •Разработка и поддержка ETL/ELT-пайплайнов на Hadoop/Spark
- •Разработка и оптимизация SQL-запросов и работы с PostgreSQL
- •Интеграция и работа с Apache Kafka для потоковой передачи данных
- •Разработка приложений в микросервисной архитектуре и оптимизация под высокую нагрузку
- •Настройка и поддержка CI/CD, контейнеризации и оркестрации (Jenkins/GitLab CI, Docker, Kubernetes)
Обязательно
- •Коммерческая разработка на Java от 2 лет
- •Практический опыт с экосистемой Hadoop: Hive, Spark от 2 лет
- •Опыт работы с реляционными БД и SQL (PostgreSQL), оптимизация запросов
- •Понимание и опыт работы с Apache Kafka (принципы продюсеров/консьюмеров)
- •Опыт работы с Docker и Kubernetes
- •Опыт работы с CI/CD (Jenkins, GitLab CI)
- •Знание принципов Data Governance и Data Quality
Будет плюсом
- •Знание Scala или Python для обработки данных
- •Опыт работы с OLAP-кубами
- •Опыт с хранимыми процедурами и триггерами
