МТСJunior Data Engineer в Скоринг [Big Data, МТС Веб Сервисы]
гибрид, Москва
Команда продукта Скоринг (Big Data) ищет Junior Data Engineer для разработки и поддержки ETL/ELT-пайплайнов, подготовки данных для аналитики и ML, и поддержки хранилищ данных. Работа помогает снижать финансовые риски клиентов через качественные данные и предобработку
ГрейдJunior
Стек
PythonSparkHDFSGitSQLCI/CDLinux
Задачи
- •Разработка и поддержка ETL/ELT-пайплайнов для обработки данных
- •Писать и оптимизировать SQL-запросы для выборки и трансформации данных
- •Очищать, преобразовывать и готовить данные для аналитики и ML-моделей
- •Мониторить пайплайны и реагировать на инциденты во время дежурств
- •Участвовать в проектировании структуры хранилищ данных и витрин
- •Писать unit- и интеграционные тесты; участвовать в code review и перенимать лучшие практики команды
Обязательно
- •Базовое знание Python (стандартная библиотека, работа с данными)
- •Владение SQL, понимание основ реляционных баз данных
- •Понимание принципов работы с большими данными (HDFS, Spark — хотя бы на уровне теории)
- •Опыт работы с Git и базовое понимание CI/CD
- •Знакомство с Linux и умение работать в терминале
- •Понимание основ построения хранилищ данных (слои, витрины, нормализация)
Будет плюсом
- •Опыт работы с PySpark
- •Опыт работы с Airflow
- •Знание Kafka
- •Опыт с аналитическими базами данных (ClickHouse и аналоги), оптимизация запросов
- •Знакомство с Docker и Kubernetes
