АЛРОСАData Engineer (АЛРОСА ИТ)
удалёнка, офис, гибрид, Санкт-Петербург
В команду КХД и BI центра компетенции по управлению данными — развивать корпоративное хранилище, проектировать ETL/интеграционные потоки и витрины, обеспечивать качество данных и отчётность для бизнеса
ГрейдMiddle/Senior
Стек
PythonPySparkGreenplumClickHouseArenadataScalaSQLData Vault 2.0
Задачи
- •Сбор потребностей и требований от бизнес‑пользователей
- •Проектирование и сопровождение интеграционных потоков данных (ETL)
- •Развитие и поддержка корпоративного хранилища данных и витрин
- •Реализация best‑practice процессов data governance
- •Описание потоков в каталоге данных
- •Оптимизация сложных SQL‑запросов и поддержка построения отчётности
Обязательно
- •опыт проектирования архитектуры хранилищ данных (Kimball, Inmon, Data Vault 2.0)
- •опыт работы с MPP‑системами (Greenplum, ClickHouse)
- •опыт разработки на PySpark и/или Scala
- •опыт оптимизации сложных SQL‑запросов
- •опыт проектирования ETL по продуктам стека Arenadata или аналогам
- •опыт построения отчётности
- •внедрение процессов data governance и каталогизация потоков
Будет плюсом
- •опыт DevOps практик: поддержка и развитие инфраструктуры, CI/CD
- •опыт реализации витрин в Hadoop/S3
- •опыт разработки тестов сборок моделей и работы с YAML‑конфигурациями
