МТСMiddle Data Engineer [Coffers, МТС Веб Сервисы]
удалёнка, Москва
Команда MTS Web Services развивает продукт прогнозирования окупаемости локаций; роль фокусируется на подготовке и поддержке пайплайнов данных, витрин и проверок качества, чтобы обеспечить точные прогнозы трафика и абонентской нагрузки для бизнес-решений
ГрейдMiddle
Опыт1–3 года
Стек
PythonSparkPostgreSQLKafkaSQLHadoopHiveAirflow
Задачи
- •Разрабатывать пайплайны обработки данных
- •Разрабатывать интеграционные процессы для выгрузки/загрузки данных
- •Автоматизировать процессы построения витрин
- •Оптимизировать скрипты обработки данных
- •Разрабатывать DQ проверки
Обязательно
- •Опыт разработки ETL/ELT от 2 лет
- •Уверенное знание SQL
- •Уверенное знание Python
- •Умение работать с большими массивами данных
- •Самостоятельность и ответственность, нацеленность на результат
Будет плюсом
- •Опыт работы с очередями
- •Опыт с Hadoop
- •Опыт с Spark
- •Опыт с Hive
- •Опыт с PostgreSQL
- •Опыт с Kafka
- •Опыт с Airflow
