IT-oneРазработчик ETL
Москва
Команда развивает и поддерживает высоконагруженные потоковые и ELT-пайплайны для репликации данных и обработки больших объёмов в распределённой среде. Роль критична для качества данных и надёжной доставки информации потребителям и аналитике
Стек
PythonApache NiFiPostgreSQLKafkaHDFSHadoopSparkHiveTalendInformaticaSQLJava
Задачи
- •Проектировать и развивать ETL/ELT-пайплайны (PostgreSQL → Kafka → HDFS ↔ Kafka)
- •Оценивать готовность источников и валидировать требования и схемы интеграции
- •Оптимизировать производительность, надёжность и отказоустойчивость ELT-процессов
- •Сопровождать инфраструктуру и оперативно выявлять ошибки через системы мониторинга
- •Взаимодействовать с командами владельцев данных при интеграции и инцидентах
Обязательно
- •Практический опыт создания ETL/ELT-решений (Apache NiFi, Talend, Informatica или реализация на Python/SQL/Java)
- •Глубокие знания реляционных БД, преимущественно PostgreSQL
- •Понимание принципов распределённых систем (Hadoop, Spark)
- •Опыт работы с экосистемой Apache: Kafka, HDFS, Hive
- •Умение проектировать и поддерживать пайплайны репликации и трансформации данных
Будет плюсом
- •Опыт работы с системами мониторинга Grafana
- •Опыт работы с Zabbix
