Правительство МосквыАдминистратор баз данных (Hadoop)
удалёнка, Москва
Команда ИТ Департамента Москвы ищет инженера для эксплуатации и развития кластеров Apache Hadoop (Cloudera/Arenadata). Будете внедрять, настраивать и обеспечивать доступность, безопасность и резервное копирование данных, чтобы сервисы города работали стабильно и масштабировались
ГрейдMiddle/Senior
Стек
PythonAnsibleHDFSClouderaArenadataHBaseYarnHiveSolrRHELCentOSRedOSOpenSUSEBashKerberos
Задачи
- •развёртывание, инсталляция и настройка кластерных решений на базе Apache Hadoop (Cloudera/Arenadata)
- •обеспечение высокой доступности, мониторинга, масштабирования и резервного копирования/восстановления кластеров
- •оптимизация конфигураций, управление политиками хранения данных и контроль потребления ресурсов
- •развёртывание offline-инсталляций продуктов Arenadata (Cluster Manager, Enterprise Tools, Arenadata Hadoop/Hyperwave) и их поддержка
- •настройка безопасности: Kerberos, управление правами доступа и проведение аудита
- •автоматизация рутинных задач и написание скриптов для развертывания и мониторинга
Обязательно
- •опыт администрирования кластеров Apache Hadoop (Cloudera или Arenadata)
- •знание архитектуры и сервисов HDFS, HBase, Yarn, Hive, Solr
- •уверенное администрирование RHEL/CentOS/RedOS/OpenSUSE
- •владение инструментами автоматизации Ansible и навыки скриптинга (Bash/Python)
- •умение диагностировать и решать проблемы производительности, настраивать параметры JVM и ОС
- •опыт работы с резервным копированием и восстановлением данных в распределённых системах
- •настраивать Kerberos, управлять правами доступа и проводить аудит
Будет плюсом
- •умение работать с CDC-инструментами
- •опыт взаимодействия с S3-платформами
- •администрирование PostgreSQL 11+ (настройка master/slave)
- •навыки работы с MongoDB
- •опыт управления кластерами Elasticsearch или OpenSearch
- •знание Apache Kafka и ClickHouse
- •опыт настройки систем мониторинга Zabbix и Grafana
- •владение JIRA/Confluence
- •понимание идеологии Infrastructure as Code (IaC)
