ASTONData Engineer
офис, удалёнка, гибрид
Команда Data Platform заказчика — ведущего ритейлера. Разрабатывать и поддерживать ETL/интеграционные решения на Big Data стеке, обеспечивать хранение и доступ к данным в DWH/Data Lake для аналитики и логистики бизнеса
ГрейдMiddle/Senior
Опытот 3 лет
Стек
JavaDockerPostgreSQLHadoopHiveHDFSSQLApache NiFiAirflowGitRancherOracleMySQLMsSQLDB2Groovy
Задачи
- •Проектирование и разработка интеграционных ETL-решений на Big Data стеке
- •Реализация и оптимизация SQL-запросов и моделей хранения для DWH/Data Lake
- •Сборка, деплой и сопровождение сервисов в среде Rancher/Docker
- •Поддержка и развитие хранилищ на Hadoop (Hive, HDFS)
- •Работа с архитектурной документацией и схемами данных
- •Взаимодействие с командой по внедрению и сопровождению решений
Обязательно
- •опыт работы в роли Data Engineer от 3 лет
- •владение одним из языков: Java или Groovy
- •опыт сборки, компиляции и деплоя в Rancher (Docker)
- •опыт проектирования, реализации и поддержки интеграционных решений на BigData-стеке
- •знание SQL: индексы, функции, чтение планов запросов, оптимизация
- •опыт работы с Hadoop, понимание HDFS и опыт с хранилищем на Hadoop (например Hive)
- •опыт работы с реляционными БД (Oracle/PostgreSQL/MySQL/MsSQL/DB2) и Git в консоли
Будет плюсом
- •опыт администрирования Unix/Linux или Hadoop-компонентов (HDFS, YARN, Ranger)
- •опыт работы с Spark и Zookeeper
- •знание Zabbix и Ansible
