ПСБИнженер данных Hadoop/Spark
Работа над слоями данных и витринами в хранилище для аналитики: разработка ETL/процедур наполнения, оптимизация преобразований и хранения, поддержка команды аналитиков для повышения качества и скорости получения аналитики
ГрейдMiddle
Опыт1–3 года
Стек
SparkGreenplumKafkaHDFSHiveClickHousePostgreSQLOracleMS SQL
Задачи
- •Разработка детального слоя данных и витрин
- •Реализация процедур наполнения витрин и ETL-процессов
- •Проектирование оптимальных решений по преобразованию и хранению данных
- •Оптимизация SQL-запросов и производительности хранилища
- •Экспертная поддержка команды аналитиков
Обязательно
- •Опыт работы с экосистемой Hadoop: HDFS, Hive, Spark
- •Опыт работы с Apache Kafka
- •Опыт работы и настройки Greenplum и ClickHouse
- •Роль разработчика в PostgreSQL/Greenplum, Oracle, MS SQL, Hive не менее 2 лет
- •Умение оптимизировать SQL-запросы
- •Умение проектировать и реализовывать процедуры и функции
