ЯндексРазработчик интеграции Apache Spark с YTsaurus
гибрид, Новосибирск
Команда SPYT развивает интеграцию Apache Spark с платформой YTsaurus; вы будете поддерживать и улучшать коннектор, интегрировать новые возможности Spark и повышать эффективность выполнения аналитических задач для внутренних и внешних пользователей
ГрейдMiddle/Senior
Опытот 3 лет
Стек
JavaApache SparkYTsaurusPythonScalaHDFSYARNDockerKubernetesC++Go
Задачи
- •Поддержка совместимости с современными версиями Spark и Java
- •Интеграция Spark Connect и новых возможностей фреймворка
- •Разработка и интеграция внешнего shuffle‑сервиса для Spark
- •Повышение эффективности выполнения Spark‑заданий в YTsaurus
- •Поддержка и развитие опенсорс‑проекта и взаимодействие с сообществом
Обязательно
- •опыт работы с Apache Spark не менее 3 лет
- •умение разрабатывать на Java
- •умение разрабатывать на Python
- •понимание принципов распределённого хранения и обработки больших объёмов данных
Будет плюсом
- •опыт работы с Hadoop (HDFS, YARN)
- •опыт работы с Docker и Kubernetes
- •участие в опенсорс‑проектах
- •знание Scala
- •знание C++ или Go
