МТССтарший Инженер по данным [Автоматизированные сервисы МГТС]
гибрид, Москва
Команда отвечает за корпоративный DWH и портал отчетности. Вы будете разрабатывать и поддерживать пайплайны загрузки данных, оптимизировать хранение и запросы, обеспечивать надежность и интеграции для внутренних потребителей отчетности
ГрейдSenior
Стек
PythonAirflowPostgreSQLKubernetesGreenplumClickHouseTrinoDockerGitCI/CDS3IcebergNessie
Задачи
- •Разработка и эксплуатация пайплайнов загрузки данных
- •Интеграция и обработка больших и вложенных наборов данных через API
- •Проектирование слоёв хранения и моделей данных (staging/bronze/silver/gold, SCD, Data Vault)
- •Оптимизация SQL-запросов, партиционирования и распределения данных
- •Настройка и сопровождение регламентных процессов в оркестраторах (Airflow/Dagster)
- •Поддержка CI/CD-процессов, релизов и отката
Обязательно
- •Уверенное владение Python и SQL
- •Опыт интеграции с API и обработки больших/вложенных наборов данных
- •Понимание PostgreSQL/Greenplum, колоночных СУБД и распределённых SQL-движков
- •Опыт проектирования слоёв хранения и моделей данных (staging/bronze/silver/gold, SCD, Data Vault)
- •Умение анализировать планы запросов и оптимизировать производительность (JOIN, партиционирование, skew, bloat)
- •Уверенная работа с Git и CI/CD, управление релизами и rollback
- •Опыт с оркестраторами (Airflow, Dagster) и контейнеризацией (Docker/Podman, Kubernetes или systemd)
Будет плюсом
- •Опыт работы с Trino или ClickHouse
- •Опыт с Iceberg и S3-стореджами
- •Знание каталогов наподобие Nessie
