НСПКИнженер сопровождения платформы данных (Hadoop)
гибрид
Команда сопровождения платформы данных — эксплуатация и развитие кластера Hadoop (Cloudera CDH) для обеспечения стабильной, отказоустойчивой и производительной платформы аналитики и обработки данных
ГрейдMiddle/Senior
Опытот 3 лет
Стек
Cloudera CDHHDFSYARNSparkZooKeeperGrafanaZabbixLinuxParquetIcebergS3Ozone
Задачи
- •Сопровождение и обеспечение стабильной работы кластеров Cloudera CDH
- •Планирование и оптимизация ресурсов кластеров, устранение узких мест
- •Администрирование и тюнинг HDFS, YARN, Spark и ZooKeeper
- •Обеспечение высокой доступности и отказоустойчивости (HA NameNode, ResourceManager)
- •Мониторинг и алертинг с помощью Cloudera Manager, Grafana, Zabbix
- •Взаимодействие с командами инженерии данных и инфраструктуры, согласование требований и SLA
Обязательно
- •От 3 лет опыта администрирования кластеров Hadoop (Cloudera, Hortonworks, Arenadata и т.д.)
- •Опыт установки, настройки, тюнинга и обновления Cloudera CDH
- •Администрирование HDFS, YARN, Spark и ZooKeeper
- •Опыт обеспечения HA и отказоустойчивости (NameNode HA, ResourceManager HA)
- •Опыт работы с системами мониторинга и алертинга (Cloudera Manager, Grafana, Zabbix или аналогичные)
- •Уверенные навыки администрирования Linux (Ubuntu/Debian, CentOS/RHEL, Astra, RedOS)
- •Знание форматов хранения Parquet и Iceberg
