АвитоТехлид разработки в команду DWH
удалёнка, Москва
Техлид в команду, отвечающую за внутреннюю платформу данных и DWH: развивать микросервисы, ETL/ELT-пайплайны и механизмы качества данных, повышать наблюдаемость и автосервис для внутренних пользователей; роль критична для стабильности аналитических витрин и скорости доставляемых данных
ГрейдLead
Стек
TrinoClickHouseKafkaAirflowVerticaGreenplumSpark StreamingFlinkTemporalCI/CDDSL
Задачи
- •руководство командой: code review, менторинг, найм и развитие инженеров
- •принимать архитектурные решения для платформы данных и микросервисов
- •внедрять shift-left Data Quality: автоматические проверки и валидацию контрактов данных
- •строить observability и SLO/SLI для пайплайнов, настраивать мониторинг и алертинг
- •развивать self-service инструменты и DSL для снижения ручных операций
- •участие и руководство миграцией аналитической платформы на Trino
Обязательно
- •сильный бэкенд-бэкграунд: микросервисы, API, контейнеризация и CI/CD
- •опыт в data engineering: проектирование ETL/ELT-пайплайнов и продвинутый SQL
- •опыт работы с MPP-хранилищами (Trino/Vertica/ClickHouse/Greenplum)
- •опыт обеспечения качества данных и автоматических проверок на этапах загрузки
- •опыт построения наблюдаемости, мониторинга и alerting для пайплайнов (SLO/SLI)
- •опыт руководства командой разработки или data-инженеров от 1 года
Будет плюсом
- •практический опыт 6NF или якорного моделирования
- •глубокие знания Vertica или Trino: оптимизация и эксплуатация
- •опыт разработки DSL/трансляторов (например ANTLR)
- •опыт с оркестраторами: Temporal/Cadence/Airflow
- •опыт миграций аналитических хранилищ
- •опыт потоковой обработки: Kafka, Spark Streaming, Flink
