СберВедущий инженер по сопровождению
Москва
Команда отвечает за эксплуатацию высоконагруженной аналитической платформы на Hadoop. Вы будете поддерживать стабильность кластеров и пайплайнов данных, администрировать Airflow и JupyterHub, быстро решать инциденты и обеспечивать доступность аналитических сервисов для пользователей
ГрейдLead
Стек
PythonApache AirflowHDFSLinuxHadoopYARNHiveSparkJupyterHubSQL
Задачи
- •Мониторинг и поддержка кластера Hadoop (HDFS, YARN, Hive, Spark)
- •Администрирование Apache Airflow: контроль DAG, разбор падений, перезапуск задач
- •Поддержка среды JupyterHub: управление доступами и ресурсами, помощь аналитикам
- •Обработка инцидентов и сервисных запросов (1/2-я линия), эскалация на 3-ю линию
- •Диагностика сбоев через логи и метрики, участие в патчах и плановых работах
- •Ведение и актуализация эксплуатационной документации и runbook
Обязательно
- •Знание архитектуры экосистемы Hadoop (HDFS, YARN, Hive, Spark)
- •Опыт работы с Apache Airflow и понимание структуры DAG
- •Базовые навыки администрирования Jupyter / JupyterHub
- •Уверенное владение SQL
- •Уверенная работа в Linux (CLI, анализ логов, базовое администрирование)
- •Умение читать и править Python-скрипты для разбора пайплайнов и DAG
Будет плюсом
- •Опыт работы с системами мониторинга (Grafana, Prometheus, Zabbix)
- •Опыт работы с тикет-системами (Jira, ServiceNow)
- •Опыт участия в обновлениях/патчинге кластеров и планировании релизов
