Разработчик ETL / Data Engineer
В командах данных — разработка и поддержка ETL/ELT-пайплайнов для сбора, обработки и доставки продуктовых данных в хранилище; задача — обеспечить качество и доступность данных для аналитики и продуктов, которыми пользуются миллионы пользователей
ГрейдMiddle/Senior
Опытот 3 лет
Стек
PythonSQLClickHouseDockerKubernetesS3CI/CDGit
Задачи
- •Разработка и оптимизация ETL/ELT-процессов
- •Интеграция данных из реляционных СУБД и внешних источников
- •Доставка и загрузка данных в хранилища
- •Обеспечение качества и целостности данных
- •Поддержка пайплайнов и участие в code review в Git
Обязательно
- •Уверенное знание SQL
- •Уверенное знание Python
- •Опыт разработки ETL процедур от 3-х лет
- •Опыт работы с реляционными СУБД
- •Навыки командной разработки в Git
Будет плюсом
- •Опыт с code-driven ETL/ELT инструментами
- •Опыт с распределёнными колоночными СУБД (ClickHouse, Vertica, Greenplum)
- •Знание Docker и Kubernetes
- •Опыт работы с S3-хранилищем
- •Знание CI/CD процедур