ЯндексData Platform Engineer (NRT/Spark)
гибрид
Команда Финтеха Яндекса. Развитие облачной платформы для NRT‑пайплайнов и наблюдаемости данных: ускорение поставки, повышение отказоустойчивости и обеспечение качества данных для финансовых сервисов
ГрейдMiddle/Senior
Опытот 4 лет
Стек
PythonApache SparkGreenplumApache AirflowClickHouseHadoopTrinoPostgreSQLOracleMongoDBS3Yandex Cloud
Задачи
- •Проектирование и развитие облачной data‑платформы
- •Разработка и оптимизация NRT‑пайплайнов и потоковой обработки данных
- •Ускорение процессов поставки данных, внедрение CDC и инкрементальных загрузок
- •Создание единой observability‑платформы, datalineage и логирования
- •Построение изолированных тестовых окружений и автоматизация проверок
- •Развитие внутренних фреймворков/low‑code для загрузки и контроля качества данных
Обязательно
- •Коммерческая разработка от четырёх лет
- •Глубокое понимание устройства БД: оптимизация запросов, планы выполнения, партиционирование, шардирование, индексы
- •Опыт с PostgreSQL, Oracle, MongoDB, Greenplum
- •Опыт работы с CDC и реализацией пайплайнов
- •Уверенная работа с S3‑совместимыми хранилищами
