TOTopSelection
Data engineer
Команда данных поддерживает общебанковскую data‑платформу: data lake, DWH и стриминг. Вы будете мигрировать отчётные процессы, строить end-to-end пайплайны и оптимизировать их производительность для своевременной аналитики и отчетности банка
ГрейдMiddle/Senior
Стек
Apache SparkAirflowHiveHDFSdbtSQLSqoopYARNPythonJavaScalaMPP
Задачи
- •Мигрировать процессы отчётности и настроить регламентную загрузку данных
- •Разрабатывать end-to-end пайплайны сбора и обработки данных
- •Работать с data lake, DWH и streaming-платформой банка
- •Анализировать и оптимизировать производительность пайплайнов и дата‑сервисов
- •Настраивать и поддерживать интеграции Near‑Real Time с источниками и потребителями
- •Устранять инциденты, управлять обновлениями и восстанавливать сервисы после сбоев
Обязательно
- •Владение SQL на уровне оптимизированных сложных запросов
- •Опыт работы с Apache Spark (DataFrames, Spark SQL)
- •Опыт работы с экосистемой Hadoop (HDFS, YARN, Hive, Sqoop)
- •Опыт оркестрации ETL-пайплайнов с помощью Airflow
- •Наличие опыта взаимодействия с dbt
- •Опыт программирования на Python и/или Java, Scala
- •Понимание принципов функционирования традиционных СУБД и баз данных класса MPP
