Data Engineer
Команда инфраструктуры аналитики развивает LakeHouse-платформу для сбора, обработки и доставки данных продуктовым командам и аналитикам. Вы будете строить и поддерживать data pipelines и аналитическое окружение для больших потоков данных, важное для отчётов и аналитики
ГрейдJunior/Middle
Опытот 2 лет
Стек
PythonApache SparkAWS S3Apache AirflowDelta LakeTrinoDBTKafkaAirbyteDataHubJenkinsTerraformKubernetes
Задачи
- •подключать новые источники и развивать/модернизировать data pipelines
- •настраивать и поддерживать аналитическое окружение
- •обеспечивать обмен данными с внешними и внутренними сервисами
- •модернизировать текущую дата-платформу вместе с core-командой
- •работать в паре с другим продуктовым дата-инженером
Обязательно
- •опыт работы инженером данных от 2 лет
- •отличное знание Python
- •уверенные навыки SQL
- •опыт разработки процессов тестирования данных
- •умение строить высоконагруженные streaming и batch пайплайны
- •самостоятельность и умение коммуницировать с разными командами
Будет плюсом
- •опыт с Apache Spark, Apache Airflow, Trino
- •опыт работы с Kubernetes, Terraform и AWS
- •навыки работы с ИИ-агентами (Claude Code, Codex и т.д.)