OzonСтарший инженер данных, Ozon Банк
удалёнка, гибрид, Москва
Команда платформы данных развивает ETL‑системы и фабрики пайплайнов для аналитиков и DS. Вы будете строить и поддерживать доставку и качество данных, автoматизировать пайплайны и системы мониторинга для принятия бизнес‑решений.
ГрейдSenior
Опытот 3 лет
Стек
PythonAirflowClickHouseKafkaPostgreSQLVerticaS3SparkHadoopFastAPIFlaskKubernetesHelmSupersetPrometheusGrafanaGitLabJiraConfluenceGitPytest
Задачи
- •Разрабатывать инструменты доставки данных и компоненты Airflow
- •Проектировать и реализовывать фабрики пайплайнов
- •Обновлять и обеспечивать своевременную доставку актуальных данных
- •Строить систему качества данных и валидации
- •Настраивать и поддерживать мониторинг и алертинг
- •Обучать аналитиков и дата‑сайентистов современным практикам
Обязательно
- •Опыт работы на Python более 3 лет
- •Опыт работы дата‑инженером и с Apache Spark (PySpark)
- •Опыт работы с ClickHouse, PostgreSQL и/или Vertica
- •Умение разрабатывать компоненты в Airflow
- •Поддержание порядка в коде, Git и документации
- •Тестирование решений с Pytest
- •Высшее техническое образование
Будет плюсом
- •Опыт с Kubernetes, Helm и Prometheus
- •Опыт с Superset
- •Опыт разработки сервисов на FastAPI или Flask
- •Опыт взаимодействия с аналитиками и дата‑сайентистами
