AZUR GAMESData Engineer
офис, удалёнка
Команда строит отказоустойчивые ETL-пайплайны и хранилище данных для аналитики и внутренних сервисов. Роль заключается в разработке процессов обработки, интеграций и инструментов для извлечения и поддержания качества данных
Стек
PythonApache AirflowClickHouseDockerPostgreSQLMySQLPandasNumPyDocker ComposeGitLinux
Задачи
- •Разработка и поддержка ETL-пайплайнов
- •Проектирование и реализация интеграций с сервисами
- •Разработка алгоритмов преобразования и обнаружения аномалий
- •Оптимизация и тестирование процессов обработки и SQL-запросов
- •Совершенствование системы хранения и управления данными
- •Автоматизация задач аналитиков внутренними инструментами
Обязательно
- •опыт работы в роли Data Engineer
- •отличное знание Python
- •опыт с ClickHouse или другой колоночной СУБД
- •опыт с реляционными СУБД (MySQL/PostgreSQL)
- •умение оптимизировать SQL-запросы
- •опыт с Apache Airflow или другим оркестратором ETL
- •умение работать с Docker и Docker Compose
Будет плюсом
- •понимание принципов построения распределённых баз данных
- •опыт работы с библиотеками Pandas и NumPy
