Java-разработчик в Data Platform
офис, гибрид
Команда Data Platform разрабатывает сервисы для Iceberg-таблиц в Data Lake House — каталог, резервное копирование, оптимизацию хранения, планировщик, сборщик мусора и экспорт статистики. Роль важна для надежного хранения и обработки >30 ПБ данных и повышения производительности распределённых систем
ГрейдMiddle/Senior
Опытот 3 лет
Стек
JavaSpringPostgreSQLS3IcebergSparkC++
Задачи
- •Проектирование и разработка отказоустойчивых высоконагруженных сервисов
- •Разработка и проработка архитектуры, структур данных и алгоритмов
- •Реализация сервисов для каталога, бэкапа, оптимизации хранения, планировщика, сборщика мусора и экспорта статистики
- •Интеграция и работа со Spark, Iceberg и S3
- •Оптимизация памяти, throughput и многопоточности
- •При необходимости писать сервисные части на C++
Обязательно
- •Опыт разработки на современном Java
- •Глубокие знания алгоритмов и структур данных
- •Опыт проектирования распределённых систем
- •Умение работать с многозадачностью и оптимизацией производительности
- •Знание SQL и принципов работы баз данных (OLAP/OLTP)
- •Умение оптимизировать системы и профилировать производительность
Будет плюсом
- •Опыт работы с таблицами Iceberg и колоночными форматами
- •Опыт работы со Spark
- •Опыт с Trino или другими SQL-движками
- •Опыт работы с S3
- •Опыт работы с Kafka