IFiFellow
Дата Инженер
Команда дата‑инженеров работает над ядром системы анализа процессов: проектирование моделей данных, разработка переиспользуемых трансформаций и пайплайнов, создание self‑service инструментов и поддержка кластерной инфраструктуры при переходе с Hive на Spark
ГрейдMiddle/Senior
Опытот 3 лет
Стек
PythonPySparkClickHouseAirflowNiFiGreenplumHadoopSparkSQLDockerKubernetespandas
Задачи
- •участие в разработке ядра системы анализа процессов
- •разработка переиспользуемых трансформаций данных и пайплайнов
- •проектирование и документирование модели данных
- •создание self‑service инструментов обработки данных для пользователей
- •поддержка и настройка кластерной инфраструктуры для обработки больших массивов данных
Обязательно
- •опыт работы инженером данных от 3 лет
- •промышленный опыт с PySpark
- •опыт работы с ClickHouse или Greenplum
- •опыт с оркестраторами ETL (Airflow, NiFi или аналог)
- •уверенное владение SQL и использованием его в работе
- •уверенное знание Python (включая pandas)
- •знание теории построения хранилищ данных и основ ООП/структур данных
Будет плюсом
- •базовые навыки Unix shell
- •опыт работы с брокерами сообщений
- •опыт работы с Docker и Kubernetes
- •опыт с Big Data стеком, Spark и Hive
- •опыт работы с данными логов
