ЯндексБэкенд-разработчик в команду DWH в Финтех
офис, удалёнка, гибрид, Санкт-Петербург
Команда строит аналитическую DWH‑платформу для работы с большими данными и переводит её к real‑time обработке. Роль в фокусе — развитие платформы на S3/Trino/Greenplum, интеграция источников и обеспечение надёжности и масштабируемости данных для бизнеса.
ГрейдMiddle/Senior
Опытот 4 лет
Стек
GreenplumTrinoS3Apache SparkApache AirflowKafkaPostgreSQLOracleMongoDBYandex CloudCDC
Задачи
- •Проектирование, масштабирование и миграция DWH-платформы (Greenplum → Trino/S3)
- •Построение пайплайнов загрузки данных из реляционных/NoSQL/файловых источников и Kafka
- •Реализация стратегий загрузки: полная, инкрементальная с CDC, пакетная и потоковая обработка
- •Обеспечение отказоустойчивости, безопасности и производительности платформы 24/7
- •Развитие observability: мониторинг сборок, качество данных, Data lineage и логирование
Обязательно
- •Коммерческая бэкенд-разработка от четырёх лет
- •Опыт разработки высоконагруженных statefull‑систем
- •Опыт работы с DWH или крупными системами хранения данных
- •Знание принципов партиционирования, шардирования и индексирования для масштабируемых хранилищ
Будет плюсом
- •Опыт разработки пайплайнов в Apache Airflow
- •Опыт работы с Apache Spark (Spark SQL, DataFrame)
- •Опыт работы с Kafka или аналогами для стриминга
- •Знание Trino и миграции данных в S3-совместимые хранилища
- •Опыт работы с PostgreSQL/Oracle/MongoDB
- •Знание и реализация CDC‑паттернов
