МТСSenior Data Engineer [DPI Антифрод]
гибрид, Москва
Команда MWS разрабатывает высоконагруженную ETL‑платформу для проекта ГИС «Антифрод». Вы будете строить и автоматизировать конвейеры сбора, агрегации, корреляции и передачи сетевых событий оператора для обнаружения мошенничества и оперативной аналитики
ГрейдSenior
Стек
PythonApache SparkClickHouseKafkaAirflowGreenplumDockerKubernetesGit/GitLabS3SQL
Задачи
- •Проектирование архитектуры ETL‑платформы и согласование требований
- •Планирование и реализация ETL‑конвейеров: нормализация событий, мультифакторная корреляция, профилирование
- •Разработка Spark‑приложений и пайплайнов на Python
- •Тестирование и автоматизация запусков конвейеров, участие в интеграционном и нагрузочном тестировании
- •Мониторинг производительности в облачной инфраструктуре и расследование инцидентов
- •Автоматизация доставки, установки и обновления ПО и конфигураций
Обязательно
- •Знание обработки данных в реальном времени
- •Опыт проектирования и реализации ETL‑процессов «под ключ»
- •Разработка пайплайнов и автоматизация на Python
- •Уверенное знание SQL
- •Опыт создания Spark‑приложений для распределённой потоковой обработки
- •Опыт работы с брокерами сообщений (Kafka) и оркестрацией (Airflow)
- •Опыт с микросервисами, Docker и Kubernetes, работа с Git/GitLab
Будет плюсом
- •Опыт работы с S3
