Островок!Data Engineer
В команде данных вы будете строить и поддерживать ETL-пайплайны и витрины для ML-решений: собирать требования DS, обеспечивать качество и доступность данных, чтобы улучшать продукты для путешественников, тревел-агентов и отельеров
ГрейдJunior/Middle
Опытот 2 лет
Стек
PythonSparkMPP базы данныхAirflowdbtHDFSHiveSQLGitDocker
Задачи
- •Разработка и поддержка ETL-пайплайнов
- •Создание и сопровождение витрин данных для ML
- •Повышение и контроль качества данных
- •Сбор и формализация требований от DS-команды
- •Настройка мониторинга процессов ETL
Обязательно
- •Опыт работы с данными для ML от 2 лет
- •Опыт взаимодействия с DS-командой и формализации ТЗ
- •Опыт работы со Spark
- •Опыт с MPP базами данных
- •Знание Python и SQL
- •Опыт работы с Git и Docker
- •Навыки настройки и поддержки ETL и мониторинга процессов
Будет плюсом
- •Опыт с dbt
