OzonСтарший инженер данных, Ozon Банк
удалёнка, гибрид, Москва
Команда платформы данных развивает ETL-пайплайны и инфраструктуру хранения в Ozon Банк; вы будете строить фабрики данных, поддерживать качество и скорость обновления данных для принятия бизнес‑решений и работы аналитиков и DS
ГрейдSenior
Опытот 3 лет
Стек
PythonAirflowClickHouseKafkaPostgreSQLVerticaS3SparkHadoopFastAPIFlaskKubernetesHelmSupersetPrometheusGrafanaGitLabJiraConfluencePytest
Задачи
- •разрабатывать инструменты доставки данных и компонентные решения для аналитиков
- •проектировать и реализовывать фабрики пайплайнов и ETL-процессы
- •обновлять и гарантировать своевременную доставку актуальных данных
- •строить и поддерживать систему качества данных
- •настраивать и поддерживать мониторинг и алертинг для дата-инфраструктуры
- •обучать аналитиков и дата-сайентистов современным практикам работы с данными
Обязательно
- •более 3 лет работы на Python
- •более 3 лет опыта в data engineering и знание Apache Spark (PySpark)
- •опыт разработки Airflow-компонентов
- •опыт работы с ClickHouse, PostgreSQL и Vertica
- •понимание принципов хранения данных и оптимизации запросов
- •умение поддерживать порядок в коде, Git и документации
- •навыки тестирования решений с Pytest
Будет плюсом
- •опыт работы с Kubernetes и Helm
- •знание Prometheus и Grafana для мониторинга
- •опыт с Superset
- •опыт разработки сервисов на FastAPI или Flask
- •опыт общения и совместной работы с аналитиками и дата‑сайентистами
