IGITFB Group
Data Engineer
Команда дата-инжиниринга отвечает за платформу обработки больших данных. Вы будете разрабатывать SQL-процедуры, обработчики на Spark и ETL (Airflow), оптимизировать производительность и поддерживать схемы данных для аналитики и бизнес‑процессов.
Стек
PythonSparkHDFSAirflowHiveGreenplumTeradataSQLLinux
Задачи
- •Проектирование и разработка SQL-процедур и обработчиков данных на Spark
- •Разработка и ведение схемы данных
- •Разработка и сопровождение ETL-процессов (в том числе в Airflow)
- •Оптимизация производительности кода
- •Участие в проведении тестирований
Обязательно
- •Высшее образование в области ИТ
- •Опыт работы с базами данных
- •Знание SQL
- •Опыт написания скриптов на Python
- •Знание Spark, Hadoop, HDFS, Airflow, Hive
- •Знание Linux
Будет плюсом
- •Знание Greenplum
- •Знание Teradata
