ASTONData Engineer
Работа в команде Data Platform над системами загрузки, обработки и потоковой аналитики данных для крупного банка. Вы будете разрабатывать масштабируемые ETL/streaming-сервисы и оптимизировать аналитические запросы, чтобы обеспечить стабильную доставку данных бизнес-подразделениям
ГрейдMiddle/Senior
Опытот 4 лет
Стек
PythonPySparkPostgreSQLKafkaNumPyPandasAirflowFlinkOracleGreenplumSpark Structured Streaming
Задачи
- •Разработка и внедрение сервисов загрузки и обработки неструктурированных данных
- •Создание потоковых приложений на PySpark/Spark Structured Streaming и/или Flink
- •Проектирование и оптимизация сложных SQL-запросов с аналитическими окнами
- •Интеграция с внешними поставщиками данных через API
- •Автоматизация пакетных рабочих процессов и мониторинг в Airflow
- •Написание модульных и интеграционных тестов для дата-пайплайнов
Обязательно
- •опыт работы Data Engineer от 4-х лет
- •отличные знания Python (ООП, алгоритмы, функциональное программирование)
- •опыт разработки на PySpark и потоковой обработки данных
- •опыт работы с Apache Kafka (producer/consumer, consumer groups)
- •отличное знание SQL и оптимизация запросов
- •опыт с Airflow для оркестрации рабочих процессов
- •опыт работы с БД Oracle/Postgres/Greenplum
