ИнфоТеКСИнженер данных (Data engineer)
Уфа
Команда data engineering развивает ETL/ELT-пайплайны и хранилище данных для аналитической платформы. Задача — обеспечить надёжный сбор, интеграцию и долгосрочное хранение данных, чтобы ускорять аналитические отчёты и принятие решений бизнесом
ГрейдMiddle
Стек
PythonAirflowPostgreSQLDockerClickHouseS3ParquetDocker ComposeLXDpandaspolarsPyArrow
Задачи
- •Проектирование и разработка ETL/ELT-пайплайнов
- •Оркестрация задач сбора и обработки данных (например, Airflow)
- •Организация долгосрочного хранения данных (Data Lake, Parquet) и интеграция источников с аналитическими БД
- •Настройка автоматического сбора данных из БД, API, файлов и очередей
- •Поднятие и поддержка тестовых стендов для отработки сценариев (Docker Compose, LXD)
- •Разработка бенчмарков для оценки производительности и ресурсов
Обязательно
- •Опыт разработки на Python
- •Уверенное владение SQL
- •Уверенное владение командной строкой Linux
- •Опыт работы с реляционными и аналитическими БД (PostgreSQL, ClickHouse)
- •Опыт работы с файловыми/объектными хранилищами (S3, FTP, NFS)
- •Навыки контейнеризации и поднятия локальных стендов (Docker, LXD)
- •Опыт написания ETL-скриптов с использованием pandas/polars/PyArrow
Будет плюсом
- •Опыт с Kubernetes и Helm
- •Знание колонковых форматов и Parquet, партиционирование и шардирование
- •Опыт оптимизации запросов и пайплайнов (профилирование)
- •Опыт с Apache Spark / PySpark
- •Знание озерных форматов (Delta, Iceberg)