ЭР-ТелекомДата-инженер (Платформа анализа данных)
Команда строит Платформу анализа данных — выделенный высокопроизводительный конвейер для обработки больших объёмов данных. Вы будете проектировать и сопровождать пайплайны, API и интеграции, улучшая производительность и надёжность аналитики для бизнеса
ГрейдMiddle
Опытот 2 лет
Стек
PythonSparkClickHouseKafkaAirflowJenkinsHiveHadoopSQL
Задачи
- •Разработка и сопровождение высоконагруженного конвейера обработки данных
- •Реализация и поддержка API для взаимодействия компонентов системы
- •Построение ETL/ELT-пайплайнов с использованием Airflow, Spark и Kafka
- •Сбор данных через коллекторы (syslog, UDP и другие протоколы)
- •Оптимизация производительности: профилирование, многопоточность, устранение узких мест
- •Интеграция внешних источников данных совместно с аналитиками
Обязательно
- •Python как основной язык разработки пайплайнов и автоматизации
- •Уверенное владение SQL и оптимизация сложных запросов
- •Опыт работы с ClickHouse, Hive или другими СУБД
- •Опыт работы с Big Data: Hadoop, Spark, Kafka
- •Опыт оркестрации задач: Airflow, Jenkins или аналоги
- •Опыт разработки API высокой нагрузки, понимание многопоточности и сетевых протоколов
- •Опыт работы с коллекторами сбора информации (syslog, UDP и другие)
