ChoiceitData engineer
Команда развивается вокруг современной data‑платформы для entertainment‑продуктов. Вы будете проектировать и поддерживать ETL/ELT‑пайплайны, DWH и Python‑сервисы для подготовки данных, повышая надёжность и производительность аналитики и продуктовых решений.
ГрейдSenior
Стек
PythonApache AirflowClickHouseKafkadbtSparkGreenplumVerticaRabbitMQIcebergTrinoDockerKubernetesCI/CD
Задачи
- •Проектирование и разработка надежных data pipelines и DAG‑процессов
- •Подготовка и трансформация данных для аналитики, продуктов и бизнеса
- •Оптимизация SQL‑запросов и производительности хранилищ
- •Развитие ETL/ELT процессов, проектирование DWH и витрин
- •Разработка Python‑сервисов, библиотек и инструментов для обработки данных
- •Интеграция с внешними источниками через API, FTP и другие каналы
Обязательно
- •Глубокие знания SQL: сложные запросы и оптимизация под большие данные
- •Уверенное владение Python и опыт написания production‑кода
- •Практический опыт построения и поддержки data pipelines
- •Понимание принципов DWH: слои, модели, витрины, контроль качества данных
- •Самостоятельный поиск и выбор технических решений
- •Умение понимать бизнес‑контекст задач и работать в команде
Будет плюсом
- •Опыт разработки и поддержки DAG в Airflow: scheduling, retries, monitoring
- •Опыт с dbt или аналогами для трансформаций
- •Опыт с распределённой обработкой данных на Spark
- •Знание аналитических OLAP/MPP СУБД: ClickHouse, Greenplum, Vertica
- •Опыт с Kafka или RabbitMQ
- •Знакомство с Iceberg, Trino
- •Опыт с Docker, Kubernetes и CI/CD
- •Понимание подходов Data Mesh
- •Участие в open‑source или собственных технических проектах
