WinlineData Engineer / Инженер данных
офис, гибрид
Команда инженерии данных развивает DWH: вы будете проектировать и реализовывать физический уровень, строить ETL/пайплайны и систему оркестрации для обновления данных, поддерживать контроль качества и управление метаданными — чтобы обеспечить надежные данные для бизнеса
ГрейдMiddle/Senior
Опытот 3 лет
Стек
PythonETLSQLDAG/оркестрацияAPIGitпотоковая обработка
Задачи
- •Реализация физического уровня DWH для всех слоев (raw/core/data mart)
- •Разработка ETL-пайплайнов из внутренних и внешних систем
- •Построение и поддержка системы оркестрации ETL (DAG)
- •Реализация решений для контроля качества данных в DWH
- •Реализация и поддержка управления метаданными DWH
- •Участие в R&D по выбору инструментов платформы данных
Обязательно
- •опыт работы от 3 лет
- •владение Python для обработки данных
- •продвинутый уровень SQL
- •опыт разработки и поддержки end-to-end ETL-пайплайнов
- •опыт работы с оркестраторами и понимание концепции DAG
- •опыт получения данных из разных типов API
- •опыт потоковой обработки данных
