ЯндексИнженер данных в Путешествия
Команда строит и развивает DWH и ETL-конвейеры для поддержки аналитики и сервиса путешествий. Нужно проектировать слои хранилища, разрабатывать и сопровождать конвейеры данных, повышая качество и скорость аналитики для бизнеса и пользователей.
ГрейдMiddle/Senior
Стек
Apache AirflowClickHouseYTsaurusSQLPythonHadoopMapReduce
Задачи
- •Разработка и сопровождение ETL-конвейеров и их мониторинга
- •Проектирование структуры хранения данных по слоям (партиционирование, индексация, сжатие)
- •Оптимизация и профилирование ETL-процессов для повышения производительности
- •Ревью и документирование преобразований и потоков данных
- •Анализ прикладных данных и становление экспертом по бизнес-метрикам
Обязательно
- •Проектирование DWH: слои, модели хранения, ETL-процессы
- •Разработка ETL на Apache Airflow или аналогах
- •Настройка поставок данных по API
- •Экспертный уровень владения SQL
- •Умение писать на одном из языков высокого уровня (Python, Go, Java и т.д.)
- •Понимание архитектуры реляционных баз данных
- •Знание алгоритмов и структур данных для работы с большими данными
Будет плюсом
- •Опыт работы с MPP-СУБД (ClickHouse, Greenplum, Vertica и т.д.)
- •Понимание принципов распределённой обработки данных (Hadoop, MapReduce)
