ASTONData Engineer
Команда Data Platform крупного коммерческого банка. Вы будете строить отказоустойчивые ETL и стриминговые сервисы, интегрировать и обрабатывать большие объёмы данных для аналитики и продуктовых сервисов банка
ГрейдMiddle/Senior
Опытот 4 лет
Стек
PythonFastAPIPostgreSQLKafkaApache AirflowArgo WorkflowsJupyterLabApache SparkPySparkaiokafkaconfluent-kafkakafka-pythonaiohttphttpxOracleHadoop/HDFSS3HiveIcebergparquetorcSQL
Задачи
- •Разработка и поддержка ETL-пайплайнов и batch-сервисов
- •Разработка стриминговых приложений на Spark Structured Streaming и интеграция с Kafka
- •Создание отказоустойчивых Python-сервисов и веб-API на FastAPI
- •Обработка, хранение и оптимизация аналитических данных (Hive, Iceberg, parquet)
- •Анализ данных и написание сложных SQL-запросов с использованием CTE и оконных функций
- •Взаимодействие с командой, обмен опытом и участие в архитектурных обсуждениях
Обязательно
- •опыт работы в роли Data Engineer от 4 лет
- •высокий уровень Python
- •опыт работы в JupyterLab/JupyterHub
- •опыт разработки ETL на Apache Airflow или Argo Workflows
- •знание и опыт работы с Apache Spark / PySpark
- •опыт работы с Apache Kafka (чтение/запись потоков)
- •отличные знания SQL и опыт с PostgreSQL или Oracle
