МТСData Engineer (ON Медиа, КИОН)
удалёнка, Москва
Команда развивает lakehouse нового поколения для KION. Задача — разрабатывать и оптимизировать ETL/ELT пайплайны, поддерживать OLAP движки и мигрировать хранение данных, чтобы обеспечить стабильную аналитику и доставку контента
ГрейдMiddle/Senior
Опытот 3 лет
Стек
PythonPySparkClickHouseApache AirflowGreenplumHadoopHDFSS3StarRocksSQLLinuxGitCI/CD
Задачи
- •Разработка и рефакторинг ETL/ELT пайплайнов на pyspark
- •Поддержка и оптимизация spark‑приложений
- •Поддержка текущих пайплайнов на Greenplum и Hadoop
- •Разработка и поддержка OLAP‑движков (Starrocks/ClickHouse)
- •Миграция данных с HDFS на S3
Обязательно
- •Опыт работы с Python от 3 лет
- •Глубокое знание SQL и опыт работы с большими данными
- •Опыт работы с Apache Airflow
- •Опыт проектирования и разработки ETL/ELT процессов
- •Опыт работы с колоночными БД (ClickHouse)
- •Знание принципов построения Data Warehouse и Data Lake
- •Уверенная работа с Linux и Git
